Gemini 4 Argon chơi StarCraft: Khi AI phải viết bot trong một giờ

Tóm tắt nhanh

StarSkirmish Bench vừa tung ra phiên bản v0.2 với sự tham gia của các mô hình hàng đầu đến từ OpenAI, Anthropic, Google và Meta. Mỗi mô hình chỉ có đúng một giờ để viết một bot Protoss bằng C++, sau đó đối đầu với các bot khác và cả những bot do con người viết. Kết quả cho thấy GPT-6 Astra đang dẫn đầu, nhưng khoảng cách với các bot người vẫn còn rất lớn.

StarSkirmish là gì?

StarSkirmish là một bài kiểm tra năng lực (benchmark) trong đó các mô hình ngôn ngữ lớn (LLM) phải tự viết bot cho trò chơi StarCraft: Brood War. Cụ thể hơn, mỗi mô hình được cấp một giờ đồng hồ thực tế để lập trình một bot Protoss bằng ngôn ngữ C++.

Biểu tượng của các phòng thí nghiệm AI lớn

Điểm đáng chú ý ở đây là bài kiểm tra này đánh giá hai khả năng quan trọng của AI: suy luận tầm xa (long-horizon reasoning) và lập trình tác tử (agentic coding). Các mô hình không chỉ viết code một lần rồi xong, mà còn phải chạy thử, đọc kết quả, rút kinh nghiệm và cải tiến bot của mình trong suốt khoảng thời gian cho phép.

Bảng xếp hạng StarSkirmish Bench v0.2

Phiên bản mới nhất này thay thế v0.1 bằng cách bổ sung các mô hình chủ lực mới nhất. Điểm số của mỗi mô hình phản ánh tỷ lệ thắng trước một danh sách các bot cạnh tranh do con người viết, cộng thêm một số bot minh họa.

Kết quả nổi bật:

• GPT-6 Astra đứng đầu bảng xếp hạng, vượt qua GPT-6.1 Sol đang ở vị trí thứ hai
• Gemini 4 Argon, Claude Opus 5.5 và Claude Fable 5.1 gần như ngang bằng nhau, cùng đạt điểm từ 37 đến 39
• Gemini 4 Argon được chạy ở mức suy luận "high" — mức cao nhất mà mô hình này hỗ trợ

Một điểm thú vị là GPT-6.1 Sol mang lại giá trị đặc biệt tốt khi chỉ tốn chưa đến một phần mười chi phí mỗi lần chạy so với GPT-6 Astra, nhưng vẫn đạt vị trí thứ hai.

Chưa có dấu hiệu bão hòa

Điều đáng chú ý nhất có lẽ là các bot do con người viết vẫn vượt trội hoàn toàn so với mọi mô hình AI. Trước ba bot mạnh nhất là Stardust, PurpleWave và BananaBrain, mô hình tốt nhất là GPT-6 Astra cũng chỉ thắng được 7% số trận.

Giới hạn suy luận trong một giờ là một yếu tố, nhưng các trận đấu này chỉ diễn ra trên ba bản đồ hai người chơi. Điều kiện thi đấu thực tế của các giải bot do con người viết còn khó khăn hơn nhiều.

Hành vi của các mô hình AI

Mỗi lần chạy đều ghi lại dấu vết tác tử (agent trace), cho thấy mô hình đã dùng thời gian của mình như thế nào. Yếu tố dự báo điểm số mạnh nhất chính là số lượng trận luyện tập mà mô hình thực hiện với 7 bot mạnh nhất trong danh sách.

Biểu tượng của OpenAI

Các mô hình như GPT-6 Astra, GPT-6.1 Sol và Gemini 4 Argon bắt đầu chơi với những bot mạnh này từ sớm, ngay cả khi bot của chúng vẫn đang thua liên tục. Ngược lại, Muse Wonder Full, Claude Haiku 5.5 và GPT-6 Luna hiếm khi hoặc không bao giờ làm điều này.

Claude Fable 5.1 là một ngoại lệ thú vị: nó đạt 37 điểm nhưng gần như chỉ luyện tập với các bot yếu hơn.

Độ biến thiên giữa các lần chạy

Kết quả cũng dao động đáng kể giữa các lần chạy của cùng một mô hình. Gemini 4 Argon biến thiên mạnh hơn hẳn so với các mô hình chủ lực khác: lần chạy tốt nhất và tệ nhất cách nhau tới 18 điểm, trong khi GPT-6 Astra chỉ chênh 9 điểm và Claude Opus 5.5 là 8 điểm.

Điều này phản ánh tính không ổn định cố hữu của các tác tử AI khi phải tự lập kế hoạch và thích nghi trong thời gian dài.

Chi tiết kỹ thuật

Mỗi mô hình phải viết bot Protoss bằng C++ dựa trên BWAPI 4.4.0, chạy trên OpenBW. Các trận đấu diễn ra theo thể thức Protoss đối đầu Protoss trên ba bản đồ thang đấu: Heartbreak Ridge, Benzene và Destination.

Mô hình khởi đầu từ một bot khung chỉ biết khai thác tài nguyên, cùng với mã nguồn của ba bot minh họa và hai thư viện bot tiêu chuẩn: FAP (trình mô phỏng chiến đấu) và BWEM (trình phân tích bản đồ). Bất cứ thứ gì có trong thư mục bot khi hết giờ sẽ trở thành bot cuối cùng — nghĩa là mô hình phải luôn giữ cho bot của mình biên dịch được.

Các công cụ mà mô hình có sẵn bao gồm: biên dịch bot, chơi trận luyện tập, và đọc tóm tắt trận đấu, bản ghi cùng nhật ký của bot. Đối thủ luyện tập được chia thành các nhóm từ D (ba bot minh họa) đến S (Stardust, PurpleWave).

So sánh với các bài kiểm tra khác

Đáng chú ý là StarSkirmish không còn tương quan với những bài đánh giá được báo cáo rộng rãi nhất. Nó gần như không thay đổi theo Artificial Analysis Intelligence Index (hệ số tương quan ρ chỉ 0,26), nơi GPT-6 Astra — mô hình đứng đầu ở đây — chỉ đồng hạng 4 trong số 9 mô hình.

Tuy nhiên, StarSkirmish vẫn tương quan với Vals IOI (các bài toán lập trình Olympic giải bằng C++) và WeirdML (một bài kiểm tra độc lập về các tác vụ học máy bất thường).

Biểu tượng của Meta

Một cách lý giải là những bài đánh giá được chú ý nhiều nhất đã trở thành mục tiêu mà các mô hình được tinh chỉnh để nhắm tới, trong khi những bài kiểm tra ít được nhắm mục tiêu hơn — về lập trình khó và tầm xa — vẫn có xu hướng dịch chuyển cùng nhau.

Ý nghĩa cho cộng đồng công nghệ Việt Nam

Với các nhà phát triển và nhà nghiên cứu AI tại Việt Nam, StarSkirmish mang lại một góc nhìn thú vị: khả năng lập trình tác tử trong thời gian dài vẫn là một thách thức lớn chưa được giải quyết. Việc các mô hình hàng đầu thế giới chỉ thắng được 7% trước bot người cho thấy còn rất nhiều dư địa để cải thiện.

Đây cũng là lời nhắc nhở rằng điểm số trên các bảng xếp hạng phổ biến chưa chắc phản ánh đầy đủ năng lực thực sự của mô hình trong những tác vụ phức tạp, đòi hỏi sự kiên trì và thích nghi.