TypeSafe ra mắt Jev: Mô hình AI nhanh gấp 200 lần, rẻ hơn 400 lần so với LLM tiên tiến

TypeSafe AI vừa chính thức công bố dòng mô hình System One đầu tiên mang tên Jev, một lớp mô hình AI hoàn toàn mới được thiết kế để đưa ra các quyết định có cấu trúc mà phần mềm có thể sử dụng trực tiếp. Theo công bố từ công ty, Jev đạt mức thông minh tương đương các LLM tiên tiến hiện nay nhưng nhanh hơn 40-200 lần và rẻ hơn 40-400 lần, đồng thời không bao giờ mắc lỗi kiểu dữ liệu hay tạo ra ảo giác.

Mô hình System One và Jev của TypeSafe

Từ ChatGPT đến câu hỏi lớn chưa có lời giải

Câu chuyện bắt đầu từ trăn trở của nhà sáng lập TypeSafe, người từng tham gia xây dựng các phương pháp làm nên ChatGPT tại OpenAI. Ông chia sẻ rằng dù các mô hình chat đã đạt mức "siêu phàm" trong nhiều năm, nhưng tự động hóa thực sự vẫn còn thiếu một mảnh ghép lớn.

"Các mô hình đã siêu phàm trong việc trò chuyện nhiều năm nay, vậy tự động hóa đang ở đâu?"

Sau hai năm phát triển trong chế độ kín đáo, TypeSafe AI đã cho ra đời một stack công nghệ hoàn toàn mới tập trung vào tự động hóa, bao gồm kiến trúc mô hình mới, bộ lấy mẫu song song (parallel sampler) và phương pháp huấn luyện mang tên Reinforcement Learning for Calibrated Decisions (RLCD).

Jev hoạt động khác biệt như thế nào?

Điểm khác biệt cốt lõi của Jev nằm ở việc mô hình này từ bỏ việc sinh chuỗi văn bản để tập trung vào đầu ra có cấu trúc. Thay vì tạo ra văn bản tự do có thể chứa lỗi, Jev trả về các giá trị có kiểu dữ liệu xác định trước, kèm theo xác suất và điểm tin cậy đã được hiệu chỉnh.

Có thể hình dung Jev như một lệnh gọi hàm ở cấp độ trí tuệ tiên tiến: đầu vào là trạng thái phi cấu trúc, đầu ra là các quyết định xác suất có kiểu dữ liệu rõ ràng.

Các đặc điểm chính của Jev bao gồm:

• Đầu ra có kiểu dữ liệu an toàn: Cấu trúc và các giá trị đầu ra có thể được định nghĩa trước, mô hình không bao giờ mắc lỗi kiểu dữ liệu
• Xác suất được hiệu chỉnh: Mọi câu trả lời đều đi kèm xác suất và điểm tin cậy, độ tin cậy cao đồng nghĩa độ chính xác cao
• Lấy mẫu song song: Tạo ra tất cả đầu ra trong một truy vấn duy nhất thay vì từng token một, cực kỳ hiệu quả về mặt phần cứng
• Không thể tạo ảo giác: Vì đầu ra bị giới hạn trong tập giá trị xác định trước

Kiến trúc và phương pháp huấn luyện của TypeSafe

Hiệu năng và chi phí: Con số biết nói

Theo công bố của TypeSafe, Jev đạt được những cải thiện ấn tượng về cả tốc độ lẫn chi phí:

• Thời gian phản hồi: 70ms-500ms cho TypeSafe, so với 3-329 giây của các mô hình tiên tiến hiện nay
• Tốc độ: Nhanh hơn 40-200 lần cho cùng mức trí tuệ tiên tiến
• Chi phí đầu vào: 0,042 USD/triệu token (42 USD/tỷ token)
• Chi phí đầu ra: Miễn phí, quá rẻ để tính

Điều đáng chú ý là các con số này được đo trên các workload thực tế, không phải bài kiểm tra tổng hợp. TypeSafe cho biết họ sử dụng giá trị trung bình của các mô hình thông minh nhất như GPT-6 Astra và Fable 5.1 làm tham chiếu, điều này có thể khiến họ đánh giá thấp hiệu năng tương đối của mình.

Ứng dụng thực tế: Từ workflow đến game

Điểm thú vị nhất trong công bố của TypeSafe là các ứng dụng mới mà System One mở ra. Công ty đã trình diễn một số ví dụ đáng chú ý:

Bot chơi game Doom theo thời gian thực: Một kỹ sư lo ngại về việc thực hiện 10 truy vấn mỗi giây (tốn khoảng 7 USD/giờ), nhưng cả nhóm đều đồng ý rằng chi phí này thấp hơn mong đợi. Bot này phản ứng với các biểu diễn trạng thái game khác nhau và tuân theo hướng dẫn.

Trò chơi Wikipedia: Người chơi bắt đầu từ một trang Wikipedia và cố gắng đến một trang cụ thể khác chỉ bằng các liên kết. Mỗi bước có thể phải chọn giữa hàng trăm đến hàng nghìn liên kết, là môi trường lý tưởng để chứng minh lợi ích của việc không tạo ảo giác với các lựa chọn số lượng lớn.

Workflow tự động hóa doanh nghiệp: Các workflow thực tế đáng tin cậy thường có nhiều câu hỏi độc lập được phân tách, với hành vi chi tiết phụ thuộc vào xác suất thay vì quyết định rời rạc. TypeSafe đã công bố đánh giá trên 4 workflow như vậy, cho thấy Jev dẫn đầu biên Pareto trong gần 2 bậc độ lớn.

Kết quả đánh giá hiệu năng của Jev trên các workflow

Nguồn gốc tên gọi và triết lý đằng sau

Tên gọi System One Models lấy cảm hứng từ Daniel Kahneman với cuốn "Thinking, Fast and Slow", phân biệt giữa tư duy nhanh, trực giác (System 1) và lý luận chậm, có chủ đích (System 2). TypeSafe tin rằng System One Models có thể được làm cho đáng tin cậy hơn các giải pháp thay thế.

Tên Jev được đặt theo William Stanley Jevons. Công ty kỳ vọng trí tuệ máy sẽ đi theo con đường tương tự than đá: mỗi bậc độ lớn giảm chi phí trí tuệ sẽ mở ra nhiều bậc độ lớn trường hợp sử dụng mới. Đây là một điểm đáng suy ngẫm cho thị trường Việt Nam, nơi chi phí AI vẫn là rào cản lớn với nhiều doanh nghiệp và nhà phát triển.

Thách thức và giới hạn cần cân nhắc

TypeSafe cũng thẳng thắn thừa nhận một số hạn chế và thiên lệch tiềm ẩn trong đánh giá của mình:

• Các workflow đánh giá được thực hiện bởi thành viên nhóm năng lực mô hình, nên có thể tồn tại một số thiên lệch
• Việc sử dụng trung bình các mô hình OpenAI và Anthropic làm tham chiếu có thể thiên vị kết quả
• Các LLM được bọc trong System One LLM wrapper của TypeSafe, vốn chậm hơn và tốn kém hơn so với đưa ra quyết định không có xác suất
• Jev hỗ trợ cardinality tối đa 255, với các lựa chọn lớn hơn cần hệ thống 2 giai đoạn

Hiện Jev đang trong giai đoạn truy cập sớm và TypeSafe đang đưa các nhà phát triển ra khỏi danh sách chờ nhanh nhất có thể. Công ty kêu gọi cộng đồng chia sẻ những quyết định họ cần tự động hóa, nơi Jev hoạt động tốt và cả nơi mô hình còn thiếu sót.