PrismML đưa mô hình ngôn ngữ siêu nhỏ lên kính thông minh dùng chip Qualcomm

PrismML, phòng thí nghiệm AI do các nhà nghiên cứu từ Caltech sáng lập và có sự cố vấn của Ion Stoica từ UC Berkeley, vừa công bố phiên bản mô hình ngôn ngữ siêu nhỏ dành riêng cho kính thông minh chạy trên chip Snapdragon của Qualcomm.

Tại sự kiện Snapdragon Summit diễn ra hôm thứ Tư, Qualcomm đã giới thiệu mô hình 1-bit Bonsai LLM của PrismML, có khả năng chạy cục bộ trên kính thông minh AI được xây dựng trên nền tảng Snapdragon AR1 Gen 1.

Mô hình nhỏ nhưng giữ nguyên hiệu năng

Điểm nổi bật của PrismML là khả năng thu gọn các mô hình lớn đáng kể — trong trường hợp này là giảm tới 4 lần — mà vẫn giữ được gần như toàn bộ hiệu năng trên các bài kiểm tra tiêu chuẩn.

Phiên bản dành cho kính thông minh là mô hình 2 tỷ tham số được tinh chỉnh cho cả thị giác lẫn ngôn ngữ. Điều này cho phép người đeo kính có thể hỏi về những gì họ đang nhìn thấy trong thời gian thực, chẳng hạn như nhận diện vật thể hoặc đọc hiểu văn bản trước mắt.

Tham vọng AI mã nguồn mở chạy trên thiết bị

Mục tiêu lớn hơn của PrismML là xây dựng AI mã nguồn mở (open-weight) chạy trực tiếp trên thiết bị, tận dụng tốt hơn sức mạnh tính toán mà chúng đã có sẵn.

Công ty khởi nghiệp này định vị giải pháp của mình như một lựa chọn thay thế cho việc phụ thuộc vào những cam kết về quyền riêng tư của các phòng thí nghiệm AI độc quyền, vốn luôn khao khát thêm sức mạnh tính toán.

Việc phát hành mô hình cho chip Qualcomm là một bước tiến hướng tới tầm nhìn đó. Chạy AI ngay trên kính đồng nghĩa với việc dữ liệu hình ảnh và giọng nói của người dùng không cần phải gửi lên máy chủ đám mây — một lợi thế lớn về cả quyền riêng tư lẫn độ trễ phản hồi.

Vẫn còn khoảng cách đến sản phẩm thương mại

Tuy nhiên, hiện chưa có mẫu kính thông minh nào chạy PrismML được công bố chính thức. Đây mới chỉ là bước chứng minh năng lực kỹ thuật trên nền tảng chip, chứ chưa phải là sản phẩm người dùng có thể mua.

Đối với thị trường Việt Nam, động thái này đáng chú ý bởi xu hướng AI biên (edge AI) đang ngày càng được quan tâm. Khi các mô hình ngôn ngữ ngày càng nhỏ gọn và hiệu quả hơn, việc triển khai AI trên thiết bị cá nhân — từ điện thoại, tai nghe đến kính thông minh — sẽ trở nên khả thi hơn, giảm phụ thuộc vào hạ tầng đám mây và chi phí vận hành.

Cuộc đua giữa các ông lớn như Qualcomm, Meta và Apple trong lĩnh vực thiết bị đeo thông minh hứa hẹn sẽ còn sôi động, và những mô hình nhỏ chạy cục bộ như Bonsai của PrismML có thể là mảnh ghép quan trọng giúp hiện thực hóa tầm nhìn đó.