TERMy: Trợ lý terminal cực nhanh không dùng LLM, chạy ngay cả trên Raspberry Pi Zero

Giữa cơn sốt AI tốn kém và các gói dịch vụ token ngày càng đắt đỏ, một nhà phát triển kỳ cựu đã tạo ra TERMy — trợ lý terminal phản hồi tức thì, chạy trên CPU, và đặc biệt là không dùng một artificial neuron nào.

TERMy hoạt động trong terminal

Không cần LLM, vẫn thông minh nhờ NLU nhẹ

TERMy không phải là một mô hình ngôn ngữ lớn. Thay vào đó, nó sử dụng một pipeline NLU (Natural Language Understanding) được viết gọn trong khoảng 1000 dòng Python, thực hiện theo thứ tự:

• Loại bỏ nhiễu: Lọc bỏ cảm thán, từ chửi thề, từ cảm ơn, khích lệ.
• Phân tích cảm xúc (sentiment analysis).
• Exact Match: So khớp trực tiếp, rất nhanh.
• Template Match: So khớp theo mẫu, chậm hơn một chút.
• Probabilistic Match: So khớp xác suất, chậm nhất.

Bước 5 dựa trên các thuật toán cổ điển nhưng hiệu quả:

• IDF (Inverse Document Frequency) để nhận diện từ hiếm.
• BOW (Bag Of Words) để xử lý đảo trật tự từ.
• IDF weighted Levenshtein để chịu lỗi gõ phím an toàn.

Tác giả, nổi tiếng với giao thức mạng PJON, chia sẻ:

“Tôi tự hỏi: liệu mình có thực sự cần hàng nghìn tỷ tham số để kích hoạt môi trường ảo (virtual environment) hay không?”

An toàn nhờ cơ chế cấp quyền cứng nhắc

Một điểm đáng chú ý là TERMy được thiết kế với permission gating được mã hóa cứng trong tập dữ liệu. Các lệnh có khả năng gây hại sẽ luôn yêu cầu xác nhận từ người dùng, thay vì để một LLM khó đoán tự do chạy trên máy.

Dữ liệu huấn luyện được tổ chức dưới định dạng NDF 0.0 (NPC-Forge Dataset Format). Mỗi mẫu dữ liệu chứa: câu đầu vào, câu trả lời, câu lệnh shell cần chạy (tool call), và mức độ quyền hạn. Điều này giúp việc mở rộng tính năng cực kỳ đơn giản — chỉ cần thêm file JSON mới.

Chạy ở đâu cũng được — từ trình duyệt đến Raspberry Pi Zero

TERMy được triển khai song song bằng Python và JavaScript, nên có thể hoạt động:

• Trong terminal trên mọi máy Linux.
• Client-side trong tab trình duyệt — không cần gửi dữ liệu lên server.
• Trên các thiết bị cực nhỏ như Raspberry Pi Zero.

Nhờ bỏ qua lớp ML/LLM nặng nề, TERMy chỉ tốn mili-giây cho mỗi lần phản hồi. Trong bối cảnh giá API AI tăng vọt, một giải pháp deterministic và rẻ tiền đến vậy là điều đáng để lưu ý cho cả cộng đồng phát triển tại Việt Nam — nơi chi phí phần cứng và băng thông luôn là bài toán cần tối ưu.

Tích hợp TERMy với VS Code

Bản phát hành đầu tay — còn nhiều dư địa phát triển

Tác giả thẳng thắn thừa nhận mã nguồn chưa sẵn sàng cho sản xuất. Tuy nhiên, triết lý đằng sau dự án rất đáng suy ngẫm:

“Tôi tin rằng các harness như Copilot và Pi nên dựa vào các NPC deterministic như TERMy, và chỉ chuyển sang một LLM nặng khi thực sự bất lực. Tiếp tục lãng phí điện năng cho những việc vụn vặt là tốn kém và thiếu trách nhiệm.”

NPC-Forge mở ra khả năng ai cũng có thể tự tạo một NPC (trợ lý ảo) chạy trên CPU máy mình, “sẵn sàng nói điều gì đó không thoải mái nếu bạn lập trình nó làm vậy” — điều khó có được từ các bộ lọc AI “đúng đắn” của tập đoàn.

Bạn muốn thử? Mã nguồn đã được công khai trên GitHub. Nếu bạn là dân kỹ thuật tại Việt Nam đang tìm cách tiết kiệm chi phí dùng AI cho các tác vụ văn phòng phẩm hay quản trị máy chủ, TERMy có thể là hướng đi thú vị — nhanh, rẻ, và dễ kiểm soát.