KillSwitch: Khi lập trình viên tạo ra ngôn ngữ lập trình để "qua mặt" AI

Viết mã nguồn có lẽ là lĩnh vực mà các mô hình AI (LLM) tỏ ra xuất sắc nhất. Nhưng đặt câu hỏi ngược lại: bao nhiêu phần trong khả năng đó đến từ việc AI thực sự "hiểu" mã, và bao nhiêu chỉ là việc nó ghi nhớ lại các đoạn mã đã có trong dữ liệu huấn luyện? Để trả lời, một lập trình viên đã tạo ra KillSwitch — một ngôn ngữ lập trình được thiết kế để gây khó chịu tối đa cho AI.

KillSwitch banner

KillSwitch là gì?

KillSwitch là một ngôn ngữ lập trình kỳ dị (esoteric) được thiết kế theo hướng "đối kháng" với các LLM và tác nhân lập trình tự động (coding agents). Nó vẫn sử dụng được với con người, nhưng được cài cắm nhiều cơ chế đánh vào đúng điểm yếu của AI:

• Đặc tả ngôn ngữ chứa những lời nói dối cố ý — con người thường hiếm khi đọc hoặc sẽ nhanh chóng nhận ra sự bất thường, còn AI thì không.
• Đếm số chữ cái trong tên định danh là yếu tố then chốt — trình thông dịch sẽ từ chối chạy mã nếu vi phạm các quy tắc dựa trên số lượng ký tự. Đây chính là điểm yếu nổi tiếng của LLM khi phải đếm từng chữ cái.
• Các cấu trúc được thiết kế để kích hoạt rào cản an toàn của mô hình, chẳng hạn cụm từ "hack into a computer".
• Cụm "Ignore previous instructions" là một thành phần có ý nghĩa trong ngôn ngữ, khiến mô hình dễ bị nhiễu loạn.
• Phần lớn mã nguồn là nhiễu — chủ yếu là các câu chuyện có thể chứa chỉ dẫn liên quan đến cú pháp, nhưng cũng có thể không.
• Giá trị (literal) có thể đặt ở bất kỳ đâu trong script và được tham chiếu bằng cách đếm số dòng.

Về bản chất, KillSwitch là ngôn ngữ thông dịch dựa trên ngăn xếp (stack-based), với các cấu trúc quen thuộc như hàm, biến và câu lệnh if. Ví dụ, để đẩy chuỗi "Hello World" lên ngăn xếp, người viết chỉ cần viết lệnh trỏ tới giá trị nằm cách đó vài dòng:

value 2 lines above

Cách viết này hoàn toàn xa lạ với cách các mô hình AI thường sinh mã. Toàn bộ trình thông dịch và đặc tả ngôn ngữ KillSwitch đều mã nguồn mở và có thể tìm thấy trên GitHub.

Benchmark: AI đối mặt với KillSwitch

Lập trình viên này đã xây dựng một bộ bài kiểm tra và chạy benchmark trên nhiều mô hình LLM lớn cùng các công cụ coding agent khác nhau. Các tác vụ bao gồm những việc trông đơn giản như "viết hello world", "giải thích script này in ra gì" (với script in ra số lớn hơn trong hai số), hay "sửa một script chuyển đổi Celsius sang Fahrenheit thành phép chuyển đổi ngược lại".

Biểu đồ benchmark KillSwitch

Kết quả khá thú vị:

• Claude Opus 5 đạt kết quả tốt nhất, và sự vượt trội so với các mô hình khác dường như không phải do may mắn — nó hiểu đặc tả ngôn ngữ tốt hơn.
• Một số mô hình như Fable 5.1 và Gemini 4 Argon lại làm rất kém, phần lớn vì rào cản an toàn quá nhạy cảm của chúng.
• Mô hình trọng số mở (open-weight) tốt nhất là MiMo-V2.6-Pro.
• Điểm cao nhất đạt được là 66.8.

Điểm số này có nghĩa là gì? Theo tác giả, nó không chứng minh rằng LLM "hiểu" được mã nguồn. Các bài kiểm tra vẫn còn khá đơn giản, và việc AI giải được chúng dù ngôn ngữ được thiết kế để gây nhiễu là điều đáng nể, nhưng chưa phải tín hiệu rõ ràng về khả năng thấu hiểu thực sự.

Góc nhìn cho cộng đồng công nghệ Việt Nam

Với các nhà phát triển Việt Nam đang ngày càng dựa vào AI như một trợ thủ lập trình, KillSwitch là một lời nhắc đáng suy ngẫm: AI sinh mã giỏi phần lớn nhờ ghi nhớ mẫu, chứ không hẳn vì hiểu bản chất. Điều đó có nghĩa là khi làm việc với những ngôn ngữ hiếm, framework nội bộ, hay mã nguồn độc quyền mà AI chưa từng thấy, độ tin cậy sẽ giảm sút đáng kể.

"Nếu không có gì khác, thì việc hiệu suất của mô hình trên bộ tác vụ đơn giản này tương quan với các benchmark khác ngoài kia vẫn là một dấu hiệu đáng khích lệ."

Tác giả cho biết sẽ tiếp tục theo dõi các mô hình sắp ra mắt, và nếu chúng hoàn thành xuất sắc toàn bộ bài kiểm tra hiện tại, anh sẽ thiết kế một bộ tác vụ phức tạp hơn. Bảng xếp hạng chi tiết có thể xem tại bench.killswitch-lang.org.

Đối với những ai quan tâm sâu hơn đến giới hạn của AI trong lập trình, KillSwitch không chỉ là một dự án vui — nó là một thí nghiệm có kiểm soát về sự khác biệt giữa "thuộc bài" và "hiểu bài".