Biến Raspberry Pi thành trợ lý AI cho ô tô: Chạy mô hình 35B hoàn toàn ngoại tuyến

Dự án mã nguồn mở CarWatch đang gây chú ý khi chứng minh rằng một chiếc Raspberry Pi 5 giá khoảng 300€ có thể chạy mô hình ngôn ngữ lớn 35B tham số ngay trên xe hơi, không cần internet. Hệ thống này không chỉ trả lời câu hỏi về xe dựa trên sách hướng dẫn 745 trang mà còn kết nối với các agent AI khác để tự động xử lý tình huống như đặt vé tàu khi xe gặp sự cố.

Kiến trúc hệ thống: AI cục bộ là sản phẩm, online là sự bổ sung

CarWatch được xây dựng trên Raspberry Pi 5 (16GB RAM) với triết lý rõ ràng: xe phải hoạt động đầy đủ ngay cả khi không có tín hiệu mạng. Hệ thống ưu tiên xử lý cục bộ cho các tác vụ an toàn, trong khi các tính năng xã hội hoặc nặng sẽ xếp hàng đợi và xử lý sau khi có kết nối.

Phần lõi là mô hình Qwen3.6-35B-A3B được lượng tử hóa (bản UD-Q3_K_S dynamic quant, chỉ 14.3GB) chạy qua llama.cpp server, đạt tốc độ sinh 3.5 token/giây và 25+ token/giây cho prompt, nhiệt độ ổn định 65°C. Điều này cho phép trợ lý AI hoạt động hoàn toàn ngoại tuyến, bảo vệ quyền riêng tư và không mất phí đăng ký.

Kiến trúc hệ thống CarWatch trên Raspberry Pi

Khả năng nổi bật: Từ sách hướng dẫn đến giọng nói

Điểm ấn tượng nhất là hệ thống RAG (Retrieval-Augmented Generation) được nhúng sẵn trên thẻ SD, chứa toàn bộ sách hướng dẫn sử dụng xe 745 trang. Khi người dùng hỏi "khi nào nên thêm dầu và dùng loại dầu nào?", trợ lý sẽ trả lời kèm trích dẫn số trang cụ thể - và thẳng thừng từ chối trả lời nếu thông tin không có trong sách.

Ngoài ra, CarWatch còn có:

• Điều khiển bằng giọng nói liên tục: Nghe không cần từ khóa đánh thức, dùng whisper.cpp để nhận dạng giọng nói ngay trên Pi
• Tự nhận thức về trạng thái: Đọc nhiệt độ CPU, tình trạng quạt, bộ nhớ, mạng và mô hình đang chạy - không bao giờ bịa đặt thông tin không thể cảm nhận
• Cập nhật tự động: Tự pull code từ GitHub mỗi giờ và có nút cập nhật trên dashboard
• Kết nối 3 tầng: Điểm phát sóng điện thoại → wifi nhà → điểm truy cập dự phòng riêng

Mô hình AI chạy trên Raspberry Pi trong xe

Tích hợp OBD và hệ sinh thái agent

CarWatch đọc dữ liệu động cơ qua chuẩn DoIP/ENET (RPM, nhiệt độ nước làm mát, tốc độ, điện áp) thông qua daemon giám sát cáp OBD. Khi xe gặp trục trặc không di chuyển được, agent trên xe sẽ thông báo cho "gia đình agent" của chủ xe - bao gồm cả các mô hình AI mạnh nhất đang chạy trên đám mây - để họ chủ động tìm vé tàu phù hợp mà không cần chủ xe thao tác.

An toàn và triết lý thiết kế

Dự án áp dụng "chính sách trung thực" nghiêm ngặt: tính năng chỉ được coi là "đã chứng minh" khi hoạt động trên xe thật, không phải trong môi trường mô phỏng. Nhà phát triển còn chia sẻ quan điểm sâu sắc: "Xe hơi giữ bốn điểm tiếp xúc nhỏ bằng lòng bàn tay với mặt đường - nơi duy nhất nó gặp thực tế. Một nguyên tắc cho mỗi bánh xe: chỉ khẳng định những gì bạn cảm nhận được, chỉ tuyên bố những gì đã xác minh, gắn nhãn rõ ràng cho mọi thứ tạm thời và báo cáo thất bại một cách thẳng thắn."

Thông số kỹ thuật và cài đặt

Phần cứng tham khảo bao gồm Raspberry Pi 5 16GB (cần tản nhiệt chủ động), microphone USB, camera hành trình WOLFBOX G900 và cáp OBD DoIP/ENET. Việc cài đặt khá đơn giản:

git clone https://github.com/ThinkOffApp/CarWatch.git
cd CarWatch
./install.sh

Sau đó cấu hình thông tin xác thực trong /etc/carwatch/config.json và kích hoạt dịch vụ systemd. Từ đó, xe tự cập nhật và duy trì hoạt động mà không cần mang laptop vào xe bảo trì.

Với giấy phép AGPL-3.0, CarWatch là dự án mã nguồn mở đáng chú ý cho cộng đồng công nghệ Việt Nam - đặc biệt với những ai đam mê IoT, AI cục bộ và muốn làm chủ công nghệ trên chính chiếc xe của mình.