Pac-Bench: Khi AI phải tạo game Pac-Man chỉ với một câu lệnh duy nhất

Pac-Bench là một dự án benchmark mới xuất hiện trên Hacker News, đặt ra câu hỏi thú vị: liệu các mô hình ngôn ngữ lớn hiện nay có thể tạo ra một game Pac-Man hoàn chỉnh chỉ từ một prompt duy nhất? Đây không chỉ là trò chơi giải trí mà còn là phép thử nghiêm túc về khả năng lập trình tổng hợp của AI.

Bài kiểm tra được thiết kế như thế nào?

Theo mô tả của tác giả, Pac-Bench hoạt động theo một nguyên tắc rất đơn giản nhưng khắc nghiệt:

• Mỗi mô hình chỉ nhận một prompt duy nhất: "Create a Pac-Man game in a single HTML page" (Tạo game Pac-Man trong một trang HTML duy nhất).
• Mô hình chỉ có một lần thử — không được sửa lỗi, không có prompt bổ sung, không có vòng lặp tinh chỉnh.
• Kết quả sau đó được đánh giá dựa trên các tiêu chí như điểm số, chi phí, thời gian chạy và số lượng token tiêu thụ.

Cách tiếp cận này khác biệt hoàn toàn với các benchmark lập trình thông thường, nơi AI thường được phép chạy thử, sửa lỗi và tinh chỉnh qua nhiều vòng. Pac-Bench đo lường khả năng one-shot — tức là tạo ra sản phẩm đúng ngay từ lần đầu.

Vì sao đây là bài toán khó?

Tạo một game Pac-Man trong một trang HTML nghe có vẻ đơn giản, nhưng thực tế đòi hỏi mô hình phải xử lý đồng thời nhiều lớp vấn đề:

• Logic game: điều khiển nhân vật, chuyển động của ma, thuật toán tìm đường, điều kiện thắng/thua.
• Đồ họa: vẽ mê cung, nhân vật và hiệu ứng bằng canvas hoặc CSS mà không cần tài nguyên bên ngoài.
• Tương tác người dùng: bắt sự kiện bàn phím, quản lý vòng lặp game, xử lý va chạm.
• Chất lượng mã: toàn bộ phải gói gọn trong một file HTML duy nhất, không thư viện ngoài.

Đây là dạng bài toán mà các mô hình AI thường gặp khó vì phải duy trì tính nhất quán giữa nhiều thành phần phức tạp trong một lần sinh văn bản duy nhất.

Những benchmark kiểu này ngày càng quan trọng khi các mô hình AI được kỳ vọng có thể thay thế một phần công việc lập trình viên.

Giao diện benchmark có gì đáng chú ý?

Trang kết quả của Pac-Bench cho phép người dùng sắp xếp theo điểm số, chi phí, thời gian và token, giúp so sánh trực tiếp hiệu quả của từng mô hình. Tuy nhiên, điểm đáng chú ý là nhiều mục dữ liệu yêu cầu JavaScript mới hiển thị được — thông báo trên trang hài hước viết rằng "Entries load with JavaScript. Enable it to insert a coin" (Các mục dữ liệu cần JavaScript để tải, hãy bật nó để nạp xu).

Chi tiết này cho thấy dự án vẫn đang trong giai đoạn phát triển và thu thập kết quả từ cộng đồng.

Ý nghĩa với cộng đồng AI và lập trình viên

Với các nhà phát triển và nghiên cứu AI, Pac-Bench mang lại góc nhìn thực tế về giới hạn của mô hình ngôn ngữ trong các tác vụ lập trình phức tạp. Nó cũng đặt ra câu hỏi về cách đánh giá AI một cách công bằng: liệu khả năng sửa lỗi qua nhiều vòng có phản ánh đúng năng lực thực tế, hay chính khả năng one-shot mới là thước đo chân thực hơn?

Đối với lập trình viên Việt Nam đang tìm hiểu về AI hỗ trợ lập trình, những benchmark như thế này giúp hình dung rõ hơn mô hình nào thực sự đáng tin cậy cho các tác vụ sinh mã từ đầu, thay vì chỉ dựa vào cảm nhận chủ quan khi dùng thử.