Fireworks AI: Dùng một mô hình AI là lãng phí tiền

Ông Rob Ferguson, Phó chủ tịch hãng dịch vụ suy luận AI (inference) Fireworks AI, cho rằng doanh nghiệp đang đốt tiền nếu chỉ dựa vào một mô hình AI duy nhất. Theo ông, cách tối ưu là sử dụng một danh mục mô hình (portfolio of models) và tự động định tuyến mỗi truy vấn tới mô hình phù hợp nhất.

Phát biểu với tờ The Register, Ferguson thừa nhận Fireworks AI vẫn hỗ trợ khách hàng chạy AI ngay tại trung tâm dữ liệu riêng, nhưng "chúng tôi đang cố đẩy khách hàng ngày càng xa khỏi hướng đó bởi vì thẳng thắn mà nói, bài toán kinh tế không hợp lý".

Phần cứng GPU đắt đến mức nào?

Lập luận của Ferguson dựa trên chi phí phần cứng GPU. Theo ông, 10.000 GPU tương đương khoảng 1 tỷ USD vốn đầu tư. "Bạn không muốn những thứ đó ngồi không", ông nói. Vì vậy, nếu không thể khai thác hết công suất phần cứng, doanh nghiệp đang lãng phí tiền.

Với những khối lượng công việc đặc biệt nhạy cảm, Fireworks AI có dịch vụ tên Sovereign và đối tác như Microsoft để đáp ứng nhu cầu bảo mật cao. Tuy nhiên, theo Ferguson, phần lớn công việc suy luận không cần mức bảo vệ đến vậy.

Vì sao một mô hình không phải là tối ưu?

Theo Ferguson, "trạng thái tiên tiến nhất với mọi người là có một danh mục mô hình". Ông khẳng định nhiều người không biết rằng mô hình tốt nhất thế giới không phải một mô hình đơn lẻ nào, mà chính là một danh mục mô hình. "Bạn luôn tốt hơn khi định tuyến giữa vài mô hình so với dùng một mô hình duy nhất", ông nói.

Fireworks AI thực hiện điều này qua Nexus và API của hãng, cạnh tranh với các cái tên như Together AI, Baseten và DeepInfra. Với vai trò nền tảng suy luận được quản lý (managed inference), Fireworks AI định tuyến tác vụ tới mô hình, gói đăng ký mô hình tiên tiến hoặc API phù hợp nhất.

Điểm khác biệt là hãng không định tuyến kiểu đơn giản như một cổng AI (AI gateway) thông thường. Hệ thống sẽ đánh giá từng tác vụ khi nó đến và chuyển tới mô hình tối ưu.

"We build custom routers", Ferguson giải thích. Mô hình tự động của hãng liên tục cập nhật để chấm điểm độ khó của tác vụ và nhận diện "sở trường" của từng mô hình, ví dụ Kimi có phần nhỉnh hơn ở JavaScript so với Python.

Lợi thế kỹ thuật đến từ đâu?

Ferguson cho rằng lợi thế cạnh tranh của Fireworks AI nằm ở đội ngũ kỹ sư, những người xuất thân từ công việc phát triển PyTorch – thư viện học máy mã nguồn mở phổ biến.

Ông nhấn mạnh tầm quan trọng của numerics (số học tính toán). Khi dùng một mô hình, ta thường gọi đó là mixture of experts (hỗn hợp chuyên gia) – mỗi chuyên gia là một "cỗ máy" khác nhau. Khi huấn luyện, việc ghi dữ liệu trở lại đúng cỗ máy là rất quan trọng, bởi nếu sai, cỗ máy khác vẫn trả lời nhưng theo cách hơi khác.

"Chúng tôi phải biết cách xây dựng cấu trúc liên kết (topology) để ghi dữ liệu trở lại đúng không gian. Chúng tôi phải hiểu độ chính xác dấu phẩy động (floating point precision), phải làm được tất cả những điều này khi định tuyến qua một mạng lưới phức tạp, có thể qua nhiều nhà cung cấp khác nhau. Vì vậy chúng tôi thực sự là những chuyên gia về hệ thống", ông nói.

Chi phí thật nằm ở đâu?

Ferguson cho rằng các hyperscaler (nhà cung cấp cloud quy mô lớn) sẽ đưa GPU cho doanh nghiệp nhưng trách nhiệm dùng sao cho hiệu quả thuộc về chính doanh nghiệp. Lợi thế của Fireworks AI là tối đa hóa công suất sử dụng ở quy mô lớn trong khi vẫn giữ độ chính xác và tốc độ của mô hình.

Ông cũng chỉ ra một vấn đề mà các hãng mô hình tiên tiến thường không minh bạch: tỷ lệ cache (caching rate). Kể lại một trường hợp với một công ty khoa học dữ liệu, Ferguson cho biết Fireworks AI cache được khoảng 90% tác vụ, trong khi kiểm tra Opus của Anthropic thì thấy chỉ cache 30% số lần.

"Với AI, làm lại là chi phí lớn nhất của bạn. Nếu không trúng cache thì chi phí của bạn tuyệt đối điên rồ", ông nói. Vì thế, chi phí token không phải chi phí thực sự – chi phí thực sự là chi phí trên mỗi tác vụ (cost per task).

Một yếu tố khác doanh nghiệp cần tính đến là giá trị dữ liệu và việc có đang cho đi dữ liệu để huấn luyện hay không. Fireworks AI có chính sách không lưu dữ liệu (zero data-retention), trong khi theo Ferguson nhiều công ty khác không làm vậy. "Bạn nên được trả tiền cho dữ liệu của mình", ông nói.

Tốc độ bị xem nhẹ

Ngoài chi phí, Ferguson cho rằng tốc độ cũng là yếu tố thường bị đánh giá thấp. "Tốc độ là thứ mọi người thường không biết là mình có thể yêu cầu. Nó thay đổi cuộc chơi rất nhiều", ông nói.

Về lợi ích của việc kết hợp mô hình (model ensembling, cách hãng gọi hoạt động định tuyến của mình), Ferguson cho biết hóa đơn giảm ít nhất 50%. Ông nói thực tế là rẻ hơn khoảng sáu đến tám lần; với trường hợp khách hàng dùng kết hợp cả mô hình đóng lẫn mở, Fireworks AI luôn đảm bảo hóa đơn giảm ngay một nửa.

Góc nhìn

Với các đội kỹ thuật và doanh nghiệp Việt Nam đang xây dựng sản phẩm trên nền AI, lập luận của Fireworks AI đặt ra một câu hỏi thực tế về cách đo chi phí. Thay vì nhìn vào giá token, đội ngũ nên theo dõi chi phí trên mỗi tác vụ, gồm cả số lần phải "làm lại" và tỷ lệ trúng cache – bởi đó mới là con số phản ánh ngân sách vận hành thực tế.

Cách tiếp cận danh mục mô hình cũng mang tính gợi mở: đưa các tác vụ đơn giản sang mô hình nhỏ, rẻ hơn và chỉ dùng mô hình mạnh cho tác vụ khó, có thể là hướng giảm chi phí mà không đánh đổi nhiều chất lượng. Tuy nhiên, việc tự xây hệ thống định tuyến đòi hỏi năng lực kỹ thuật và công cụ đánh giá chất lượng đủ tốt, nên các đội nhỏ cần cân nhắc giữa tự làm và dùng dịch vụ được quản lý.