Hướng dẫn chạy chatbot ngay trên máy tính của bạn

Các mô hình ngôn ngữ lớn (LLM) không chỉ dành riêng cho ChatGPT hay Gemini — bạn hoàn toàn có thể chạy chúng ngay trên máy tính cá nhân của mình. Việc chạy AI cục bộ mang lại lợi ích lớn về quyền riêng tư, cho phép truy cập ngoại tuyến và không mất phí đăng ký hàng tháng. Bài viết này sẽ hướng dẫn bạn từng bước để tự thiết lập một chatbot riêng, hiệu quả và an toàn.

Sẽ không ngoa khi nói rằng các mô hình ngôn ngữ lớn vận hành các bot AI như ChatGPT và Gemini đang thay đổi thế giới. Nhiều người trong chúng ta hiện đang dựa vào chúng để lập trình, viết lách, tóm tắt và tìm kiếm trên web. Dù AI có đi theo hướng nào trong vài năm tới, LLM vẫn sẽ là một phần của tương lai đó.

Nếu bạn sử dụng ChatGPT, Claude, Perplexity hoặc bất kỳ nền tảng AI nào khác, thì bạn đang sử dụng một LLM. Điều ít được biết đến hơn là các LLM này có thể được chạy cục bộ trên máy tính của bạn. Lợi ích chính là truy cập ngoại tuyến và tính riêng tư cao hơn, vì bạn không gửi bất cứ điều gì lên đám mây cho người khác phân tích hoặc xem xét.

Bạn cũng không phải trả phí đăng ký hàng tháng cho bất kỳ công ty AI nào hoặc lo về giới hạn sử dụng. Có nhiều LLM có thể tải xuống miễn phí, bao gồm từ những tên tuổi lớn như Meta và Google. Dù chúng không tiên tiến hoặc nhanh bằng các LLM trong các ứng dụng phải trả phí, nhưng chúng đủ mạnh để sử dụng hàng ngày và bạn có thể lựa chọn giữa chúng khi cần.

Minh họa chatbot AI trên máy tính

Việc này cũng đòi hỏi nhiều công việc bảo trì hơn và bạn mất đi một số tiện lợi khi chỉ cần mở ứng dụng ChatGPT. (Chẳng hạn, bạn sẽ cần tự xử lý các bản cập nhật.) Tuy nhiên, bạn có một hệ thống AI được cá nhân hóa và riêng tư hơn dành riêng cho mình, và việc bắt đầu không hề khó khăn.

Những gì bạn cần để bắt đầu

Bạn có thể chạy LLM cục bộ trên Windows, macOS và Linux, mặc dù macOS thường là nền tảng được nhiều người đam mê AI ưa chuộng. Mọi thứ trên Mac đồng nhất và nhất quán hơn — không giống như PC Windows, chỉ có một công ty sản xuất chúng — và chip Apple Silicon kết hợp CPU, GPU và RAM lại với nhau, điều mà các mô hình AI ưa thích.

Dù bạn chọn nền tảng nào, có nhiều RAM sẽ giúp ích rất nhiều. Tối thiểu là 8 GB, nhưng nếu chỉ có vậy, bạn sẽ bị hạn chế về kích thước LLM có thể chạy và tốc độ của chúng. 16 GB là tốt hơn, và 32 GB trở lên là cần thiết nếu bạn muốn sử dụng các mô hình lớn nhất và nhanh nhất. Để có kết quả tốt nhất, bạn cần nhiều VRAM trên một GPU chuyên dụng (trên 8 GB sẽ tạo ra khác biệt), vì loại bộ nhớ này được tối ưu hóa cho các tác vụ mà mô hình AI thực hiện.

Một chatbot AI như ChatGPT phụ thuộc vào đám mây. Ảnh: David Nield

Nếu bạn dùng Windows, một GPU Nvidia chuyên dụng sẽ giúp ích rất nhiều: Card đồ họa xử lý các quy trình AI tốt hơn so với bộ xử lý tiêu chuẩn, đó là một phần lý do tại sao Nvidia và sự bùng nổ AI lại liên quan chặt chẽ đến nhau. Những card đồ họa này cũng có RAM riêng, giúp các mô hình AI có thêm không gian xử lý.

Vì vậy, dù không có "cấu hình tối thiểu" nào để chạy LLM cục bộ, nhưng càng nhiều RAM và card đồ họa rời càng tốt. Sau đó, bạn cần một phần mềm để chạy mô hình (đóng vai trò là giao diện bên ngoài), cùng với chính mô hình đó. Có rất nhiều lựa chọn cho cả hai, vì vậy bạn có thể chọn theo nhu cầu.

Kho mô hình Hugging Face

Hugging Face cung cấp hơn 3 triệu mô hình để tải xuống. Ảnh: David Nield

Đối với người mới bắt đầu, LM Studio Bionic thường được đánh giá là lựa chọn ứng dụng AI tốt nhất trên Windows và macOS, và hoàn toàn miễn phí. Các lựa chọn phổ biến và đáng tin cậy khác bao gồm vLLM, Llama.cpp, Ollama và GPT4All, cũng có sẵn trên nhiều hệ điều hành. Tuy nhiên, những phần mềm này đòi hỏi kỹ thuật và chi tiết hơn.

Với ứng dụng AI đã chọn, quyết định còn lại là chọn một LLM. Các chương trình phần mềm chúng tôi đề cập sẽ hướng dẫn bạn đến một số lựa chọn, và cũng có các kho lưu trữ mô hình trực tuyến, nổi tiếng nhất là Hugging Face (có hơn 3 triệu mô hình — một sự lựa chọn khá lớn).

Ví dụ về thiết lập LLM cục bộ

Có rất nhiều cách thiết lập cho LLM cục bộ, nhưng chúng tôi sẽ hướng dẫn bạn từng bước qua quy trình cài đặt LM Studio Bionic trên Windows, để bạn hình dung cách hoạt động. Sau khi tải tệp cài đặt từ trang web và khởi chạy LM Studio Bionic, hãy nhấp vào Create Project để bắt đầu và đặt tên cho dự án đầu tiên của bạn.

Một cửa sổ trò chuyện trống sẽ mở ra: Nếu bạn nhấp vào Choose a model trong hộp nhắc, sau đó chọn Get local models, bạn sẽ được đưa đến trình chọn mô hình chính của LM Studio Bionic. Mỗi mô hình có sẵn được liệt kê cùng với kích thước, độ phổ biến và một vài chi tiết về nó — hãy chú ý đến mục chọn của nhân viên nếu bạn muốn có một số gợi ý để bắt đầu. Các mô hình nhỏ hơn sẽ không mạnh bằng, nhưng chúng tải nhanh hơn và chiếm ít dung lượng hơn trên hệ thống của bạn.

Giao diện chọn mô hình trong LM Studio

Trình chọn mô hình bên trong LM Studio. Ảnh: David Nield

Quay lại giao diện trò chuyện, mọi thứ hoạt động tương tự như một ứng dụng chatbot AI tiêu chuẩn. Trong hộp nhắc ở phía dưới, bạn có thể chọn giữa các mô hình AI của mình (nếu bạn cài nhiều LLM) và ở bên trái hộp nhắc có biểu tượng + (cộng) để gửi hình ảnh và tệp tin (nếu mô hình hiện tại hỗ trợ).

Ở bên trái giao diện là ngăn điều hướng, nơi bạn có thể chuyển đổi giữa các dự án của mình. Qua liên kết Settings (góc dưới bên trái) trên ngăn điều hướng, bạn có màn hình tùy chọn cho LM Studio Bionic. Có nhiều cách để tùy chỉnh phần mềm ở đây, từ cách xử lý các cuộc trò chuyện đã xóa đến các yếu tố giao diện trên màn hình.

Giao diện LM Studio chạy riêng tư và ngoại tuyến

Giao diện LM Studio, chạy riêng tư và ngoại tuyến. Ảnh: David Nield

Nhấp vào Library trong Settings để quản lý các mô hình hiện có hoặc mục Explore để tìm kiếm mô hình mới. Nếu bạn cần hỗ trợ cho hình ảnh và tài liệu, hãy tìm các mô hình đa phương thức. (Về mặt kỹ thuật, chúng được xây dựng trên nền tảng khả năng của một LLM, nhưng chúng thường vẫn được gọi là LLM.)

Phần cuối cùng của giao diện LM Studio mà bạn cần biết là thanh bên phải, có thể hiện hoặc ẩn qua nút ở góc trên cùng bên phải. Thanh này cung cấp cho bạn các tùy chọn bổ sung để quản lý tệp trong các dự án và cấp quyền truy cập cho chương trình vào hệ thống tệp trên máy tính của bạn, nếu cần.

Với hướng dẫn này, bạn đã sẵn sàng thiết lập một chatbot riêng trên máy tính của mình. Việc chạy LLM cục bộ không chỉ bảo vệ quyền riêng tư mà còn mang lại sự chủ động và linh hoạt tuyệt vời. Hãy bắt đầu với một mô hình nhỏ để làm quen, sau đó dần dần nâng cấp lên các phiên bản mạnh mẽ hơn khi bạn cảm thấy tự tin hơn.