CrankGPT: Máy AI chạy bằng năng lượng quay tay, vừa dùng vừa tập thể dục

Lo ngại về việc các trung tâm dữ liệu (datacenter) tiêu thụ quá nhiều năng lượng và nước làm mát cho các mô hình AI khổng lồ? Một nhóm kỹ sư đã đưa ra giải pháp khá... "độc lạ": một chiếc hộp AI chạy bằng năng lượng quay tay tên gọi CrankGPT.

Đúng như tên gọi, CrankGPT không dựa vào các siêu máy tính của Amazon hay Google, mà yêu cầu người dùng phải quay tay để cung cấp năng lượng. Đây là một dự án thực tế (dù có chút hóm hỉnh) do nhà khoa học máy tính Katrin Tomanek và cựu kỹ sư Google Alex Kauffmann thực hiện nhằm quảng bá triết lý của công ty khởi nghiệp Squeez của họ: các mô hình AI nhỏ gọn, hiệu quả và riêng tư.

Bộ máy CrankGPT với tay quay năng lượng

Cấu hình phần cứng "tối giản"

Bên trong chiếc hộp in 3D này là "bộ não" Raspberry Pi 5 với 8GB RAM, kèm theo tản nhiệt và mảng I2C chuyên dụng cho âm thanh. Điểm đặc biệt nhất là nguồn điện: một bộ tay quay công suất 20W (thường dùng để sạc khẩn cấp) kết nối với một bảng tụ điện tùy chỉnh.

Tụ điện này đóng vai trò như một bình ắc quy nhỏ, cung cấp đủ năng lượng để máy hoạt động khoảng 20 giây mà không cần quay. Tuy nhiên, để khởi động hệ thống và bắt đầu cuộc trò chuyện, bạn sẽ mất khoảng 30 giây quay tay từ lúc bắt đầu.

Cảm nhận sức mạnh của AI

Một trong những tính năng thú vị nhất mà Kauffmann chia sẻ với The Register là người dùng có thể "cảm nhận" được quá trình suy luận (inference) của AI.

"Phần thú vị nhất là bạn thực sự có thể cảm nhận được sự suy luận của máy móc," Kauffmann nói. "Lực cản của tay quay thay đổi tùy theo lượng công việc mà bo mạch đang xử lý. Khi nó thực sự làm việc (ví dụ: tạo ra từ ngữ), tay quay sẽ trở nên khó quay hơn nhiều so với khi nó đang ở chế độ chờ đợi bạn nói chuyện."

Phần mềm và Mô hình ngôn ngữ

Về phần mềm, thiết bị chạy phiên bản DietPi siêu gọn nhẹ, khởi động vào không gian người dùng chỉ trong khoảng 3 giây. Tác giả đã xây dựng một tác nhân giọng nói hoàn toàn mới từ đầu để giảm thiểu các phụ thuộc.

Hệ thống sử dụng:

• Moonshine: Mô hình nhận dạng giọng nói tự động (ASR) nhờ tốc độ xử lý nhanh.
• Piper: Công cụ tổng hợp giọng nói (TTS) với khả năng suy luận biên (edge inference) tốn ít tài nguyên.
• Liquid LFM2 1.2B: Mô hình ngôn ngữ phục vụ cho tác nhân giọng nói chung.
• Gemma 3 1B: Dùng cho tính năng dịch thuật.

Người dùng có thể chuyển đổi giữa các chế độ dịch thuật, trả lời câu hỏi hoặc chơi trò chơi thông qua một núm vặn vật lý trên thân máy.

Triết lý AI nhỏ gọn và riêng tư

Mặc dù CrankGPT có vẻ như một trò đùa, nhưng nó minh họa rõ ràng cho sứ mệnh của Squeez: tạo ra các mô hình AI tùy chỉnh, hiệu quả và riêng tư có thể chạy trên phần cứng rẻ tiền để giải quyết các vấn đề cụ thể.

"Yêu cầu Claude cộng hai số cho bạn giống như dùng búa tạ để diệt một con ruồi," Kauffmann nhận định. Ông cho rằng việc chạy các mô hình nhỏ cục bộ (local LLMs) là giải pháp bền vững hơn cho nhiều tác vụ cụ thể thay vì phụ thuộc hoàn toàn vào đám mây.

Tự làm tại nhà

Nếu bạn muốn sở hữu một chiếc CrankGPT cho riêng mình, nhóm phát triển dự kiến sẽ công bố toàn bộ sơ đồ và kế hoạch chi tiết trong vài ngày tới. Hiện tại, chi phí ước tính để xây dựng thiết bị này là khoảng 300 USD (do giá RAM tăng), cao hơn nhiều so với mức 150 USD của phiên bản gốc năm ngoái.

Đây là một dự án thú vị cho những ai đam mê DIY (tự làm) và muốn khám phá tiềm năng của các mô hình AI chạy cục bộ trên phần cứng hạn chế, hoàn toàn tách biệt khỏi internet.