Akka thử nghiệm chuyển đổi phần mềm bằng AI trên 65 dự án mã nguồn mở

Akka vừa công bố một thử nghiệm quy mô lớn nhằm tìm hiểu cách các yếu tố khác nhau ảnh hưởng đến chất lượng chuyển đổi phần mềm khi có AI hỗ trợ. Nhóm nghiên cứu đã sử dụng 65 dự án mã nguồn mở làm mẫu thử, qua đó đánh giá vai trò của cấu trúc đặc tả, ngữ cảnh cung cấp, lựa chọn mô hình, kiểm định tự động và các rào chắn triển khai.

Kết quả cho thấy không có công thức chung nào đảm bảo thành công. Mức độ hiệu quả thay đổi rất lớn tùy theo mô hình AI được chọn, mức độ nỗ lực bỏ ra và đặc điểm của từng loại dự án.

Bối cảnh của thử nghiệm

Chuyển đổi phần mềm — tức viết lại hoặc di trú mã nguồn từ nền tảng, framework hay ngôn ngữ này sang nền tảng khác — từ lâu là bài toán tốn kém và rủi ro cao. Sự bùng nổ của các mô hình ngôn ngữ lớn (LLM) mở ra kỳ vọng có thể tự động hóa phần lớn công việc này, nhưng thực tế cho thấy chất lượng đầu ra rất khó đoán định.

Akka quyết định tiếp cận vấn đề một cách có hệ thống thay vì dựa trên giai thoại. Họ chọn 65 dự án mã nguồn mở làm đối tượng thử nghiệm, qua đó có thể công khai dữ liệu và cho phép cộng đồng kiểm chứng lại kết quả.

Các yếu tố được đánh giá

Thử nghiệm tập trung vào năm nhóm yếu tố chính:

• Cấu trúc đặc tả (specification structure): Mức độ chi tiết và tổ chức của bản đặc tả yêu cầu ảnh hưởng trực tiếp đến chất lượng mã do AI sinh ra.
• Ngữ cảnh: Lượng thông tin về mã nguồn gốc, kiến trúc và ràng buộc nghiệp vụ được cung cấp cho mô hình.
• Lựa chọn mô hình: Các mô hình khác nhau cho kết quả rất khác nhau, ngay cả khi dùng cùng một đặc tả.
• Kiểm định tự động: Vai trò của bộ kiểm thử trong việc phát hiện lỗi và đảm bảo mã mới hoạt động đúng.
• Rào chắn triển khai (delivery guardrails): Các quy tắc và kiểm tra bắt buộc trước khi mã được chấp nhận vào hệ thống.

Những chỉ số đo lường

Nhóm nghiên cứu không chỉ đánh giá mã có chạy được hay không, mà còn đo nhiều khía cạnh thực tế:

• Thời gian hoàn thành từng dự án
• Lượng token tiêu thụ, gắn trực tiếp với chi phí vận hành
• Kích thước mã đầu ra so với bản gốc
• Mức tương đồng kiểm thử (test parity): liệu bộ kiểm thử mới có bao phủ tương đương bản gốc
• Hiệu năng của phần mềm sau khi chuyển đổi

Việc đo cả chi phí token lẫn thời gian cho thấy Akka muốn đánh giá tính khả thi về mặt kinh tế, chứ không chỉ tính khả thi về mặt kỹ thuật.

Kết quả chính

Phát hiện quan trọng nhất là mức độ biến động rất lớn. Cùng một đặc tả, cùng một dự án, nhưng kết quả có thể khác biệt rõ rệt khi thay đổi mô hình hoặc mức độ nỗ lực mà người dùng yêu cầu.

Điều này hàm ý rằng việc chuyển đổi phần mềm bằng AI hiện vẫn cần sự giám sát của con người. Bản thân mô hình không đủ để đảm bảo chất lượng; cấu trúc đặc tả tốt, ngữ cảnh đầy đủ và hệ thống kiểm định chặt chẽ mới là những yếu tố quyết định.

Thử nghiệm cho thấy đặc tả rõ ràng và kiểm định tự động có thể tạo ra khác biệt lớn hơn nhiều so với việc chỉ nâng cấp mô hình.

Ý nghĩa với doanh nghiệp và lập trình viên Việt Nam

Với các đội ngũ phát triển phần mềm tại Việt Nam, kết quả này mang lại vài gợi ý thiết thực:

• Đừng kỳ vọng AI thay thế hoàn toàn công việc di trú mã nguồn. Hãy coi AI là công cụ tăng tốc, không phải giải pháp trọn gói.
• Đầu tư vào đặc tả và kiểm thử có thể mang lại lợi ích lớn hơn việc đổi sang mô hình đắt tiền hơn.
• Theo dõi chi phí token khi triển khai ở quy mô lớn, vì đây là khoản chi phí vận hành thường xuyên.
• Xây dựng rào chắn triển khai phù hợp với quy trình CI/CD hiện có để ngăn mã kém chất lượng lọt vào nhánh chính.

Trong bối cảnh nhiều doanh nghiệp Việt Nam đang trong quá trình hiện đại hóa hệ thống cũ, việc hiểu rõ ranh giới của AI trong chuyển đổi phần mềm là bước chuẩn bị cần thiết trước khi đầu tư nguồn lực.

Góc nhìn tổng thể

Thử nghiệm của Akka không đưa ra một "mô hình tốt nhất" duy nhất, mà nhấn mạnh rằng thành công phụ thuộc vào sự kết hợp của nhiều yếu tố. Đây là cách tiếp cận trưởng thành trong thời đại mà các tuyên bố về AI thường bị thổi phồng.

Việc công bố dữ liệu trên 65 dự án mã nguồn mở cũng tạo điều kiện để cộng đồng kỹ thuật tiếp tục kiểm chứng và mở rộng nghiên cứu. Với các tổ chức đang cân nhắc ứng dụng AI vào quy trình phát triển, bài học cốt lõi là: công cụ chỉ là một phần, còn quy trình và kỷ luật kỹ thuật mới quyết định kết quả cuối cùng.