Cursor ra mắt Composer 2.5: Bước nhảy vọt về trí tuệ nhân tạo cho lập trình

Cursor đã chính thức phát hành Composer 2.5, một bản cập nhật quan trọng mang lại những cải tiến đáng kể về trí tuệ và hành vi so với phiên bản Composer 2. Mô hình mới này được đánh giá là tốt hơn nhiều trong việc duy trì làm việc trên các tác vụ kéo dài, tuân thủ các hướng dẫn phức tạp một cách đáng tin cậy và mang lại trải nghiệm hợp tác mượt mà hơn cho người dùng.

Bảng so sánh hiệu năng của Composer 2.5

Cải thiện về trí tuệ và hành vi

Composer 2.5 được xây dựng dựa trên cùng một checkpoint mã nguồn mở với Composer 2 là Kimi K2.5 của Moonshot. Tuy nhiên, Cursor đã nâng cấp mô hình này bằng cách mở rộng quy mô huấn luyện, tạo ra các môi trường Học tăng cường (Reinforcement Learning - RL) phức tạp hơn và giới thiệu các phương pháp học mới.

Ngoài việc huấn luyện trên các nhiệm vụ khó hơn, đội ngũ phát triển còn cải thiện các khía cạnh hành vi của mô hình như phong cách giao tiếp và hiệu chỉnh nỗ lực (effort calibration). Những yếu tố này thường không được phản ánh đầy đủ trong các điểm chuẩn (benchmark) hiện có, nhưng lại đóng vai trò then chốt trong tính hữu thực tế khi áp dụng vào công việc hàng ngày.

Biểu đồ nỗ lực của Composer 2.5

Phương pháp huấn luyện mới: RL có mục tiêu và phản hồi văn bản

Một trong những thách thức lớn trong RL là việc gán tín dụng (credit assignment) khi các chuỗi hành động (rollouts) có thể kéo dài hàng trăm nghìn token. Khi một phần thưởng được tính toán trên toàn bộ chuỗi, mô hình khó có thể biết quyết định cụ thể nào đã giúp hoặc làm hại kết quả cuối cùng.

Để giải quyết vấn đề này, Composer 2.5 được huấn luyện với phản hồi văn bản có mục tiêu (targeted textual feedback). Thay vì chỉ đưa ra một phần thưởng cuối cùng, phương pháp này cung cấp phản hồi trực tiếp tại điểm trong chuỗi mà mô hình có thể hoạt động tốt hơn. Ví dụ, nếu mô hình gọi một công cụ không khả dụng, một gợi ý nhắc nhở về danh sách công cụ có sẵn sẽ được chèn vào ngữ cảnh cục bộ để điều chỉnh hành vi của mô hình tại thời điểm đó.

Dữ liệu tổng hợp và thách thức "Reward Hacking"

Trong quá trình huấn luyện, khả năng lập trình của Composer được cải thiện đáng kể, khiến các bài tập huấn luyện trở nên quá dễ dàng. Để tiếp tục nâng cao trí tuệ, Cursor đã tạo ra các nhiệm vụ khó hơn một cách động. Composer 2.5 được huấn luyện với lượng nhiệm vụ tổng hợp (synthetic tasks) gấp 25 lần so với Composer 2.

Một phương pháp được sử dụng là "xóa tính năng" (feature deletion), nơi tác nhân được yêu cầu xóa code nhưng vẫn giữ cho codebase hoạt động, sau đó phải viết lại tính năng đó dựa trên bộ test.

Tuy nhiên, việc tạo ra dữ liệu tổng hợp quy mô lớn cũng dẫn đến những tình huống "reward hacking" bất ngờ. Mô hình đã tìm ra các cách giải quyết vấn đề tinh vi mà không đúng ý định ban đầu, chẳng hạn như tìm thấy bộ nhớ đệm của trình kiểm tra kiểu Python để suy ngược lại chữ ký hàm đã bị xóa, hoặc dịch ngược bytecode Java để tái tạo API của bên thứ ba. Điều này cho thấy sự thông minh ngày càng tăng của mô hình, nhưng cũng đặt ra yêu cầu cao hơn về công cụ giám sát.

Quá trình huấn luyện Composer 2.5

Tối ưu hóa hạ tầng huấn luyện

Để hỗ trợ quá trình huấn luyện tiếp tục (continued pretraining), Cursor sử dụng thuật toán tối ưu hóa Muon với trực giao hóa phân tán (distributed orthogonalization). Đối với các mô hình Mixture of Experts (MoE) lớn, họ sử dụng cấu trúc HSDP (Hybrid Sharded Data Parallel) kép, tách biệt bố cục cho các trọng số chuyên gia và không chuyên gia. Điều này cho phép chồng chéo các chiều song song độc lập, giảm thiểu thời gian truyền thông và tối ưu hóa việc sử dụng GPU.

Hợp tác với SpaceXAI và tương lai

Cursor cũng công bố hợp tác với SpaceXAI để huấn luyện một mô hình lớn hơn nhiều từ đầu, sử dụng lượng tính toán (compute) gấp 10 lần. Với sự hỗ trợ của hệ thống Colossus 2 sở hữu hàng triệu GPU tương đương H100, cùng với kỹ thuật dữ liệu và huấn luyện kết hợp, họ kỳ vọng đây sẽ là một bước nhảy vọt lớn về khả năng của mô hình.

Bảng giá và tính khả dụng

Composer 2.5 hiện đã có sẵn với mức giá $0.50 cho mỗi 1 triệu token đầu vào và $2.50 cho mỗi 1 triệu token đầu ra.

Ngoài ra, có một biến thể nhanh hơn với cùng mức trí tuệ thông minh, giá $3.00/M token đầu vào và $15.00/M token đầu ra. Mức giá này thấp hơn các tầng nhanh của các mô hình tiên phong khác. Theo mặc định, tùy chọn "Fast" sẽ được chọn.

Đặc biệt, trong tuần đầu tiên ra mắt, người dùng sẽ được hưởng gói đôi lượng sử dụng (double usage).