Từ Hàng Nghìn Xuống Một: Chiến Lược Xây Dựng Hệ Thống Chọn Lọc với LLM

Trong bối cảnh các mô hình ngôn ngữ lớn (LLM) ngày càng được ứng dụng rộng rãi, việc đưa chúng vào các pipeline sản xuất thực tế không chỉ là bài toán về chất lượng mô hình mà còn là bài toán về kiến trúc hệ thống. Jendrik Jördening, tại hội thảo kỹ thuật, đã mang đến một góc nhìn thực chiến: làm thế nào để chuyển từ việc xử lý hàng nghìn mẫu dữ liệu “thủ công” xuống chỉ còn một vòng lặp thông minh, được điều khiển bởi LLM một cách an toàn và có kiểm soát.

Ba Thách Thức Lớn Khi Tích Hợp LLM Vào Sản Xuất

Việc tích hợp LLM vào hệ thống hiện hữu không giống như việc gắn thêm một API đơn thuần. Jendrik chỉ ra ba vấn đề nan giải mà bất kỳ kỹ sư nào cũng phải đối mặt:

• Tính không xác định (Non-determinism): LLM có thể trả về các kết quả khác nhau cho cùng một đầu vào, gây khó khăn cho việc kiểm thử và vận hành ổn định.
• Schema lỏng lẻo: Việc ép LLM tuân theo một cấu trúc dữ liệu cứng nhắc (schema) thường gặp nhiều trở ngại, dẫn đến lỗi parsing hoặc dữ liệu sai lệch.
• Khó tách biệt logic: Khi trộn lẫn trích xuất ngữ nghĩa (vốn là thế mạnh của LLM) với các phép toán xác định (deterministic code), hệ thống trở nên khó bảo trì và khó debug.

Chiến Lược Khắc Phục: Tách Biệt và Xác Thực Chặt Chẽ

Thay vì cố gắng bắt LLM làm mọi thứ, Jendrik đề xuất một kiến trúc rõ ràng, trong đó LLM chỉ đảm nhận phần “hiểu ngôn ngữ”, còn mọi thứ còn lại đều do mã nguồn truyền thống kiểm soát.

1. Tách Biệt Trích Xuất Ngữ Nghĩa Khỏi Mã Xác Định

Đây là nguyên tắc cốt lõi. Hệ thống của bạn cần chia thành hai lớp rõ ràng:

• Lớp ngữ nghĩa: Sử dụng LLM để trích xuất các thực thể, ý định hoặc tóm tắt từ văn bản đầu vào.
• Lớp xác định: Dùng các thuật toán, câu lệnh điều kiện để xử lý dữ liệu sau khi đã được LLM “làm sạch”.

Cách tiếp cận này giúp bạn dễ dàng viết unit test cho từng phần riêng lẻ, đồng thời giảm thiểu rủi ro khi LLM thay đổi hành vi theo thời gian.

2. Giới Hạn Schema Rõ Ràng

Bạn không nên để LLM tự do sáng tạo cấu trúc đầu ra. Thay vào đó, hãy định nghĩa một schema chặt chẽ ở tầng deterministic code. LLM chỉ được phép điền vào các trường có ý nghĩa ngữ nghĩa, còn việc định dạng, ép kiểu dữ liệu phải do code xử lý. Khi đó, ngay cả khi LLM trả về thiếu trường hoặc sai định dạng, hệ thống vẫn có cơ chế fallback an toàn.

3. Sử Dụng Discriminator Model để Xác Thực

Một điểm thú vị trong bài trình bày là việc dùng một mô hình phân biệt (discriminator) nhỏ, chạy sau LLM, để “đánh giá lại” các lựa chọn. Thay vì tin tưởng tuyệt đối, hệ thống sẽ:

• So sánh đầu ra của LLM với một tập hợp các lựa chọn hợp lệ đã định nghĩa trước.
• Loại bỏ các kết quả không khớp hoặc mâu thuẫn.
• Chỉ đưa vào hệ thống những kết quả đã được xác thực.

"Một kết quả sai từ LLM là điều chấp nhận được, nhưng một kết quả sai được đưa vào cơ sở dữ liệu là không thể chấp nhận." – Jendrik Jördening

Kiến Trúc MVC Cho LLM: Đảm Bảo Toàn Vẹn và Quan Sát

Điểm đáng chú ý nhất của bài nói là việc áp dụng mô hình MVC (Model-View-Controller) quen thuộc để cấu trúc các thành phần liên quan đến LLM:

• Model: Định nghĩa các schema dữ liệu, Mặc dù chúng ta không nói về database truyền thống, nhưng việc ràng buộc dữ liệu từ LLM phải tuân thủ mô hình dữ liệu của hệ thống là bắt buộc. Điều này đảm bảo toàn vẹn dữ liệu (database integrity).
• View: Là các prompt template và cách hiển thị kết quả. Việc tách view giúp thay đổi prompt mà không ảnh hưởng đến logic nghiệp vụ.
• Controller: Là lớp điều phối, nhận input, gọi LLM, parse kết quả, chạy discriminator và quyết định cuối cùng.

Nhờ kiến trúc này, hệ thống có được:

• Khả năng quan sát (Observability): Mỗi bước từ prompt đến output đều được log lại, giúp việc trace lỗi trở nên dễ dàng.
• Độ tin cậy (Reliability): Khi LLM sập hoặc trả về kết quả không hợp lệ, controller sẽ chuyển sang cơ chế dự phòng (fallback), không làm gián đoạn toàn bộ pipeline.

Bài Học Thực Tế Cho Kỹ Sư Việt Nam

Trong bối cảnh các ứng dụng AI đang phát triển nhanh tại Việt Nam, từ chatbot chăm sóc khách hàng đến hệ thống gợi ý nội dung, bài học quan trọng nhất từ chia sẻ của Jendrik là: Đừng bao giờ giao toàn bộ quy trình phê duyệt cho LLM mà không có lớp kiểm soát phía sau.

Việc đầu tư xây dựng các mô hình discriminator nhỏ (có thể là các mô hình ML truyền thống) và xây dựng kiến trúc tách bạch sẽ giúp hệ thống của bạn không chỉ chạy đúng mà còn chạy bền và dễ bảo trì. Đặc biệt, với các doanh nghiệp cần tuân thủ các tiêu chuẩn về dữ liệu và bảo mật, cách tiếp cận này càng trở nên quan trọng.