LLM vô hạn tham số: Khi mô hình tự sinh trọng số từ dữ liệu trực tiếp

Các mô hình ngôn ngữ lớn (LLM) từ lâu vận hành theo một nguyên lý đơn giản: càng nhiều tham số và càng nhiều dữ liệu huấn luyện, mô hình càng giỏi. Kiến trúc Mixture-of-Experts (MoE) đã khai thác triệt để nguyên lý này bằng cách chỉ kích hoạt một phần nhỏ trong kho tham số khổng lồ cho mỗi token. Nhưng tất cả những thành tựu đó đều dựa trên dữ liệu huấn luyện tĩnh — trong khi thế giới thực mà mô hình phải đối mặt lại luôn thay đổi.

Vấn đề: mô hình không thể học từ chính cuộc trò chuyện

Khi một LLM được triển khai thực tế, phần lớn dữ liệu giúp nó hữu ích hơn lại không nằm trong tập huấn luyện. Đó là những sự kiện người dùng cung cấp, những chỉnh sửa họ đưa ra, hay ngữ cảnh riêng của từng phiên làm việc.

Mô hình truyền thống không thể học từ nguồn dữ liệu này, bởi trọng số của nó đã bị "đóng băng" sau quá trình huấn luyện. Thay vào đó, kiến thức và hành vi phát sinh lúc chạy được nhét vào prompt — thông qua truy xuất (retrieval) hoặc chỉ dẫn (instruction). Mỗi yêu cầu lại phải đọc lại toàn bộ ngữ cảnh đó, rồi vứt bỏ ngay khi phiên kết thúc.

Nói cách khác, mô hình ghi nhớ mọi thứ trong "tờ giấy nháp" tạm thời, chứ không viết được gì vào "bộ não" của chính nó.

Infinite-Parameter LLM: sinh trọng số từ dữ liệu sống

Nhóm tác giả Jinli Hu, Ross M. Clarke, Yichuan Zhang và José Miguel Hernández-Lobato đề xuất một kiến trúc mang tên Infinite-Parameter LLM. Ý tưởng cốt lõi: thay vì lưu trọng số trong một kho cố định, hãy sinh ra chúng từ dữ liệu tại thời điểm chạy.

Cụ thể, một hypernetwork gọn nhẹ sẽ biến dữ liệu đầu vào thành một điều biến hạng thấp (low-rank modulation) áp lên một mạng nền dùng chung. Nghĩa là các trọng số của lớp feed-forward được tạo ra từ dữ liệu sống, chứ không phải đọc ra từ ngân hàng tham số đóng băng.

Điểm khác biệt then chốt so với các bộ sinh trọng số trước đây:

• Các phương pháp cũ chỉ đọc ngữ cảnh một lần rồi cố định.
• Kiến trúc mới duy trì một phân phối Bayes trên mã tiềm ẩn (latent code) của bộ sinh, và cập nhật trực tuyến phân phối này.
• Nhờ đó, trọng số hiệu dụng được tái dẫn xuất liên tục từ niềm tin đang tiến hóa đó trong suốt phiên, thay vì chốt lại sau một lần đọc.

Kết quả là dấu chân lưu trữ vẫn cố định, nhưng số lượng trọng số mà mô hình có thể "biên dịch" là về mặt lý thuyết vô hạn.

Lợi ích kỳ vọng

Việc mang kiến thức và hành vi phát sinh lúc chạy vào trọng số thay vì prompt được cho là đem lại bốn lợi ích:

• Tiết kiệm tính toán nhờ chia đều chi phí (amortized) qua các lượt.
• Giải phóng context window cho những nội dung quan trọng hơn.
• Duy trì ghi nhớ qua nhiều lượt trò chuyện, không bị mất khi phiên tiếp diễn.
• Khả năng tổng quát hóa tốt hơn so với việc dùng ngữ cảnh trực tiếp.

Nhóm tác giả cũng đề xuất một giao thức đánh giá riêng để kiểm chứng trực tiếp những lợi ích này, đặt lên bàn cân với học trong ngữ cảnh (in-context learning) và truy xuất.

Vì sao điều này đáng chú ý

Nếu hướng tiếp cận này chứng minh được hiệu quả, nó có thể thay đổi cách chúng ta nhìn về bộ nhớ dài hạn của AI. Thay vì mỗi phiên trò chuyện là một tờ giấy trắng với vài dòng ngữ cảnh, mô hình sẽ thực sự "ghi nhớ" và tiến hóa theo thời gian.

Đối với người dùng và doanh nghiệp Việt Nam đang xây dựng các trợ lý AI nội bộ, đây là tín hiệu đáng theo dõi. Các hệ thống hỗ trợ khách hàng hay trợ lý chuyên môn hiện tại thường phải tái nạp toàn bộ tài liệu vào prompt mỗi lần gọi API — vừa tốn kém vừa giới hạn bởi dung lượng ngữ cảnh. Một kiến trúc biết "học từ cuộc trò chuyện" sẽ giải quyết trực tiếp bài toán chi phí và độ bền ghi nhớ đó.

Bài báo thuộc lĩnh vực Trí tuệ nhân tạo (cs.AI) và Học máy (cs.LG), hiện có sẵn trên arXiv.