Lola Vision Systems: Giải bài toán chạy mô hình AI trên chip dễ dàng hơn

Việc đưa một mô hình AI lên chạy trên phần cứng mới thường mất hàng trăm giờ chỉ để bắt đầu thử nghiệm. Một startup tại Washington, D.C. đang tìm cách thay đổi điều đó bằng phần mềm và chip riêng.

Câu chuyện bắt đầu từ gần 12 năm trước, khi Tayo Adesanya khởi nghiệp trong lĩnh vực vi xử lý và chip AI. Ông chủ yếu giúp các nhà sản xuất lớn quyết định nên dùng loại chip nào cho phần cứng của họ. Theo ông chia sẻ với TechCrunch, những năm tháng đó đã cho ông cái nhìn sớm về hướng phát triển của nhu cầu trong thị trường điện toán AI.

"Khởi nghiệp Lola Vision Systems là một canh bạc vào hướng đi của thế giới và những gì tôi đang quan sát được", ông nói.

Năm 2024, Adesanya thành lập Lola Vision Systems, một công ty hạ tầng AI chuyên xây dựng phần mềm và chip để chạy mô hình AI trên thiết bị. Sản phẩm cốt lõi của công ty là phần mềm chuyển đổi mô hình AI thành các chỉ thị mà một con chip cụ thể có thể thực thi. Adesanya gọi phần mềm này là "chuỗi công cụ biên dịch" (compiler toolchain), và ông cho rằng đây chính là điểm nghẽn lớn: việc thiết lập thủ công một mô hình AI trên phần cứng mới có thể mất "khoảng 200 giờ" chỉ để bắt đầu kiểm thử.

Tayo Adesanya, nhà sáng lập Lola Vision Systems

Tự động hóa lớp phần mềm và phát triển chip riêng

Lola Vision cho biết họ đã xây dựng lại lớp phần mềm này và cũng đang phát triển chip bán dẫn riêng, với mục tiêu tự động hóa nhiều hơn nữa quy trình. Khách hàng cung cấp mã nguồn và mô hình AI mà họ muốn sử dụng — dù là tự phát triển hay mã nguồn mở — và phần mềm sẽ chuyển đổi cả hai thành các chỉ thị mà chip của khách hàng có thể thực thi.

Adesanya nhấn mạnh rằng tốc độ chỉ là một phần của câu chuyện. Ông giải thích rằng việc thiết lập nhanh hơn giúp các công ty hàng không vũ trụ và "các doanh nghiệp có nhiệm vụ trọng yếu khác" có thời gian để "chạy nhiều mô hình chính xác hơn trên dữ liệu của riêng họ, với mức tiêu thụ điện năng thấp hơn".

"Với những khách hàng này, độ chính xác và độ tin cậy không phải là điều 'có thì tốt'. Chúng quyết định liệu sản phẩm có vượt qua được kiểm duyệt pháp lý và có hoạt động ổn định ngoài thực địa hay không."

Cạnh tranh với hệ sinh thái NVIDIA

Lola Vision là một trong nhiều startup đang cố gắng đưa ra giải pháp thay thế cho công nghệ của NVIDIA trong việc chạy AI trên thiết bị. Hiện nay, theo Adesanya, nhiều công ty bắt đầu với Jetson của Nvidia — dòng mô-đun máy tính nhỏ gọn để chạy AI trên thiết bị — hoặc với các mô hình AI mã nguồn mở.

Ông cho rằng những giải pháp này "thường hỏng hoặc chạy kém ngay khi xuất xưởng, khiến các nhóm phải mất nhiều ngày hoặc nhiều tuần chỉ để chúng chạy được, rồi thêm nhiều tuần gỡ lỗi cho đến khi mô hình dùng được".

"Ngay cả khi đó, mức tiêu thụ điện năng thường vượt ngân sách điện toán biên, hoặc bo mạch không đủ năng lực tính toán cho các mô hình tầm trung đến lớn mà sản phẩm thực sự cần để vận hành thành công. Điều này dẫn đến việc các mô hình nhận diện bị chậm so với mục tiêu hoặc nhận diện sai vật thể."

Cần lưu ý rằng điện toán biên (edge computing) nghĩa là chạy AI trực tiếp trên thiết bị, chẳng hạn như camera hay drone, thay vì trên trung tâm dữ liệu từ xa. Còn mô hình nhận diện là các hệ thống AI dùng để xác định vật thể.

Khách hàng và định hướng kinh doanh

Theo công ty, đã có hàng chục khách hàng doanh nghiệp ký thư bày tỏ quan tâm đến việc mua chip của Lola Vision khi chip sẵn sàng, và họ đã có một khách hàng chính thức ký hợp đồng. Công ty cũng đã hợp tác với SCALE, một chương trình phát triển nguồn nhân lực vi điện tử, để làm việc với nhiều phòng thí nghiệm bán dẫn hơn.

"Để có doanh thu sớm hơn, hiện chúng tôi sẽ cấp phép phần mềm của mình trên phần cứng đang tồn tại", Adesanya nói.

Nói cách khác, thay vì chờ chip riêng của mình, công ty sẽ cho khách hàng trả tiền để dùng phần mềm trên những con chip đã có sẵn. Ông cho biết thêm công ty đã huy động được tổng cộng hơn 1 triệu USD cho đến nay.

Được chọn vào Battlefield 200 của TechCrunch

Lola Vision được chọn vào Battlefield 200 năm nay của TechCrunch — nhóm 200 startup được lựa chọn tham gia chương trình này.

"TechCrunch là một trong những điều tôi yêu thích khi còn là sinh viên tại Đại học Purdue", ông kể.

Sau khoảng một năm xây dựng sản phẩm và ký được khách hàng đầu tiên, ông cảm thấy đã đến lúc nộp đơn tham gia Battlefield và đưa công ty đến gần hơn với công chúng.

Về điều ông háo hức nhất tại sự kiện, đó là "tạo dựng những kết nối ý nghĩa và học hỏi nhiều nhất có thể về những gì đang diễn ra trong và xung quanh lĩnh vực của chúng tôi. Và nói thẳng ra, tôi mong chờ các nhà đầu tư viết séc."