Đo điểm chuẩn suy luận AI trên điện thoại: Bước tiến mới cho AI di động

Việc chạy các mô hình AI trực tiếp trên điện thoại thông minh đang trở thành xu hướng quan trọng, nhưng làm thế nào để đánh giá chính xác hiệu suất của chúng? Artificial Analysis, một nền tảng phân tích AI độc lập, vừa ra mắt một bộ tiêu chuẩn (benchmark) mới chuyên dành cho việc đo lường "AI bỏ túi" trên các thiết bị di động, hợp tác cùng Liquid AI để thu thập dữ liệu suy luận thực tế ngay trên thiết bị.

Phương pháp mới này tập trung vào các mô hình "nhỏ" — được định nghĩa là những mô hình có thể nằm gọn trong 8 GB bộ nhớ sau khi nén (quantization), bao gồm cả bộ nhớ đệm KV (KV cache) ở ngữ cảnh 8K token. Đây là một bước đi nhằm mang lại cái nhìn rõ ràng và thực tế hơn về khả năng của AI trên phần cứng di động, thay vì chỉ dựa trên lý thuyết hay các bài kiểm tra trên máy trạm.

Đánh giá trí tuệ và hiệu suất suy luận

Theo công bố, các bài kiểm tra trí tuệ được thiết kế để phản ánh các tác vụ sử dụng thực tế trên điện thoại. Artificial Analysis đã chọn ra 5 bài đánh giá tiêu biểu, bao gồm BFCL (tập con) để kiểm tra khả năng gọi công cụ, IFBench để đánh giá khả năng làm theo hướng dẫn, AA-Omniscience để đo kiến thức và tỷ lệ ảo giác, cùng với GPQA Diamond và MATH-500 cho lý luận khoa học và toán học.

Bối cảnh (context) được giới hạn ở mức 16K token để phù hợp với khả năng của các thiết bị di động. Điểm trung bình (Average Score) được tính dựa trên 5 bài kiểm tra này, cung cấp một thước đo tổng quan về "trí tuệ" của mô hình khi chạy trên điện thoại.

Tốc độ và bộ nhớ: Hai yếu tố then chốt

Bên cạnh điểm số trí tuệ, báo cáo còn tập trung vào hiệu suất suy luận — yếu tố quyết định trải nghiệm người dùng thực tế. Hai thông số chính được đưa ra là:

• End-to-End Generation Time: Tổng thời gian thực hiện để xử lý một prompt gồm 1.024 token và tạo ra phản hồi 256 token. Thông số này thấp hơn sẽ tốt hơn.
• Peak Memory: Lượng bộ nhớ tối đa được sử dụng trong quá trình suy luận.

Đáng chú ý, các phép đo được thực hiện trên các thiết bị cụ thể như iPhone 17 Pro và Galaxy S26 Ultra (cả hai đều có 12 GB RAM). Thời gian tạo văn bản là một chỉ số phản ánh trực tiếp khả năng của phần cứng và kiến trúc mô hình.

Những mô hình nổi bật và biểu đồ Pareto

Báo cáo đã đưa ra biểu đồ so sánh giữa điểm trí tuệ trung bình và thời gian tạo văn bản. Trong số 39 mô hình được kiểm tra, các mô hình nằm ở góc hấp dẫn nhất (most attractive quadrant) và nằm trên đường Pareto được coi là có sự cân bằng tốt nhất giữa chất lượng và tốc độ.

Một số cái tên đáng chú ý xuất hiện trong danh sách bao gồm các sản phẩm từ Google, Alibaba, Qwen, Ministral, Gemma, LFM (Liquid AI), cùng với các mô hình từ các phòng thí nghiệm như NanoBeige, Ornith AI, TII UAE, IBM và OpenBMB.

"Điểm số trung bình là một phép tính đơn giản từ 5 bài đánh giá được chọn để đại diện cho việc sử dụng thiết bị di động trong thế giới thực, chạy trên các mô hình đủ nhỏ để phù hợp với phần cứng di động và được Artificial Analysis đo lường độc lập." — Trích từ trang phương pháp luận.

Token Efficiency và vấn đề vượt ngân sách ngữ cảnh

Ngoài tốc độ và trí tuệ, báo cáo cũng đề cập đến Token Efficiency — số lượng token đầu ra trung bình cho mỗi câu trả lời — và Context Budget Overruns. Đây là tỷ lệ phần trăm các lần tạo văn bản bị dừng lại ở giới hạn 16.000 token thay vì hoàn thành. Các mô hình có tỷ lệ này thấp hơn được đánh giá cao hơn vì chúng quản lý ngữ cảnh hiệu quả.

Ý nghĩa đối với thị trường AI di động tại Việt Nam

Đối với người dùng và nhà phát triển tại Việt Nam, bộ tiêu chuẩn này mang lại một công cụ hữu ích để so sánh các mô hình AI có thể chạy trên các dòng điện thoại cao cấp. Khi các hãng như Xiaomi, Samsung hay Apple ngày càng tích hợp AI tạo sinh vào sản phẩm của mình, việc hiểu rõ mô hình nào xử lý nhanh, thông minh và tiết kiệm bộ nhớ sẽ giúp người dùng lựa chọn thiết bị phù hợp với nhu cầu, cũng như giúp các lập trình viên tối ưu ứng dụng của họ cho phần cứng di động.

Artificial Analysis cho biết họ sẽ tiếp tục cập nhật dữ liệu và mở rộng danh sách các thiết bị cũng như mô hình được kiểm tra trong tương lai.