Hob: Khi AI cá nhân chạy hoàn toàn trên máy của bạn

Trong bối cảnh các trợ lý AI như Claude hay ChatGPT ngày càng gắn bó với công việc hằng ngày, câu hỏi về quyền riêng tư dữ liệu vẫn luôn là nỗi băn khoăn lớn. Hob — một dự án mã nguồn mở mới xuất hiện trên Hacker News — mang đến lời giải đáp: một ứng dụng desktop miễn phí, chạy AI ngay trên máy tính cá nhân mà không cần gửi bất kỳ tệp tin hay cuộc trò chuyện nào lên máy chủ.

Giao diện ứng dụng Hob

Một lựa chọn thay thế "tại chỗ" cho Claude và ChatGPT

Hob là ứng dụng dành cho Mac, Windows và Linux, được phát hành theo giấy phép MIT. Điểm khác biệt cốt lõi so với các ứng dụng AI khác nằm ở chỗ mô hình ngôn ngữ chạy trực tiếp trên máy của người dùng, sử dụng các mô hình mở như Gemma và gpt-oss.

Tác giả dự án — Christian, đến từ Frigade — cho biết anh đã thử qua gần như mọi ứng dụng AI cục bộ hiện có nhưng đều gặp vấn đề: chúng không thể làm được những việc mà ứng dụng ChatGPT và Claude vẫn làm với tệp tin, chẳng hạn đọc và sửa tệp trong thư mục, xem hình ảnh, chạy mã trong sandbox hay vẽ biểu đồ. Phần lớn chỉ dừng ở việc dán tệp văn bản thuần vào cửa sổ ngữ cảnh nhỏ, và thất bại ngay khi tệp lớn hơn vài KB.

"Các giải pháp mã nguồn mở tiên tiến hơn thì lại mặc định dùng mô hình trên đám mây, điều này phá hỏng hoàn toàn ý nghĩa bảo mật mà AI cục bộ mang lại." — tác giả Christian chia sẻ.

Những tính năng đáng chú ý

Hob được thiết kế để trở thành một "trợ lý tệp tin" thực thụ. Các tính năng chính bao gồm:

• Tự động chọn mô hình phù hợp: ngay lần cài đặt đầu tiên, ứng dụng sẽ dò cấu hình phần cứng và chọn mô hình mở tốt nhất mà máy có thể chạy.
• Chạy mã Python trong sandbox: phục vụ các tác vụ như xử lý dữ liệu, chuyển đổi tài liệu hay vẽ biểu đồ, với giới hạn chỉ ghi được vào thư mục của cuộc trò chuyện và không có quyền truy cập mạng nếu không được yêu cầu.
• Tìm kiếm web tích hợp (sử dụng SearXNG), có thể tắt trong phần cài đặt.
• Hỗ trợ MCP (Model Context Protocol) để kết nối thêm công cụ bên ngoài.
• Nhận diện hình ảnh nhờ mô hình Qwen3-VL nhỏ gọn.
• Thao tác đọc/ghi tệp cục bộ (CRUD) trực tiếp trên ổ đĩa.
• Hoạt động hoàn toàn ngoại tuyến, không cần kết nối internet.
• Nhập liệu bằng giọng nói thông qua mô hình Whisper chạy cục bộ.

Kỹ thuật đằng sau: Electron, llama.cpp và bài toán sandbox

Về mặt kỹ thuật, Hob được xây dựng bằng Electron kết hợp với llama.cpp chạy trong tiến trình riêng. Tác giả cho biết khó khăn lớn nhất là làm sao để các mô hình nhỏ sử dụng công cụ một cách đáng tin cậy — chuyện các mô hình 4B "nói suông" rằng đã vẽ biểu đồ mà không hề gọi công cụ, hoặc rơi vào vòng lặp gọi vô hạn, là những vấn đề rất phổ biến.

Thay vì chỉ tinh chỉnh prompt (vốn không hiệu quả với mô hình nhỏ), anh dành phần lớn công sức để xây dựng các cơ chế bảo vệ (guard) nhằm đảm bảo mô hình thực thi đúng hành động.

Cơ chế sandbox cũng được triển khai riêng cho từng hệ điều hành: sandbox-exec trên macOS, Landlock trên Linux và tiến trình có mức tin cậy thấp trên Windows. Cách tiếp cận này giúp giới hạn nghiêm ngặt phạm vi ảnh hưởng của mã do AI sinh ra.

AI cục bộ có đủ mạnh?

Tác giả thừa nhận rằng các mô hình cục bộ vẫn yếu hơn những mô hình đám mây tiên tiến nhất. Tuy nhiên, theo đánh giá của anh, với hầu hết tác vụ của người dùng thông thường, bạn hiếm khi cần đến mô hình mạnh nhất.

"Từ đánh giá của riêng tôi, các hệ thống có từ 16 GB RAM trở lên hoạt động rất tốt, và nếu có GPU hoặc nhiều RAM hơn, bạn sẽ tiến rất gần chất lượng của một mô hình đám mây hàng đầu." — Christian nhận định.

Ứng dụng yêu cầu tối thiểu 8 GB bộ nhớ và hỗ trợ các dòng máy Apple Silicon, Windows và Linux. Với người dùng Việt Nam — đặc biệt là những ai quan tâm đến bảo mật dữ liệu cá nhân hoặc thường xuyên làm việc với tài liệu nhạy cảm — một công cụ mã nguồn mở, miễn phí và chạy hoàn toàn cục bộ như Hob là lựa chọn đáng cân nhắc, nhất là khi không phụ thuộc vào kết nối internet hay chi phí thuê bao API.

Dự án hiện có thể tải về tại hob.chat và đang mở cho cộng đồng đóng góp.