Alchemy Models: Huấn luyện mô hình AI tùy chỉnh trực tiếp từ quy trình vận hành, không cần đội ngũ ML

Mọi truy vấn mà một ứng dụng AI doanh nghiệp xử lý, mọi chỉnh sửa mà chuyên gia thực hiện trên đầu ra của nó — tất cả những tương tác đó đều là dữ liệu huấn luyện. Tuy nhiên, hầu hết các tổ chức lại không thu thập chúng. Các quy trình vận hành mà các công ty đã xây dựng đang tạo ra một tín hiệu liên tục giúp cải thiện mô hình AI, nhưng tín hiệu đó đang dần biến mất.

Vào thứ Năm vừa qua, công ty Empromptu AI có trụ sở tại San Francisco đã ra mắt Alchemy Models với một tiền đề rất đơn giản: các ứng dụng AI mà doanh nghiệp đang xây dựng đang tạo ra dữ liệu huấn luyện, nhưng phần lớn trong số đó đang bị lãng phí. Nền tảng này tự động thu thập tín hiệu đó, định tuyến các đầu ra đã được xác thực từ các chuyên gia trong lĩnh vực trở lại quy trình tinh chỉnh (fine-tuning) để cải thiện mô hình theo thời gian. Doanh nghiệp sở hữu hoàn toàn các trọng số (weights) kết quả.

Alchemy nằm trong một lĩnh vực khác biệt so với cả RAG (Retrieval-Augmented Generation) và phương pháp tinh chỉnh truyền thống. RAG truy xuất ngữ cảnh bên ngoài tại thời điểm suy luận mà không sửa đổi trọng số mô hình. Tinh chỉnh truyền thống thay đổi trọng số nhưng yêu cầu các tập dữ liệu được gán nhãn riêng biệt và một quy trình ML chuyên dụng. Alchemy thực hiện việc sau một cách liên tục, sử dụng chính ứng dụng doanh nghiệp làm nguồn dữ liệu.

Các công ty áp dụng API mô hình nền tảng đang đối mặt với ba rào cản gia tăng: chi phí suy luận tăng theo mức sử dụng, không sở hữu các mô hình mà dữ liệu của họ đang thực sự huấn luyện, và khả năng tùy chỉnh hành vi cho các nhiệm vụ cụ thể trong lĩnh vực bị hạn chế. CEO của Empromptu, Shanea Leven, cho biết những rào cản này được cảm nhận rộng rãi nhưng hiếm khi được giải quyết.

"Mọi khách hàng, mọi người mà tôi nói chuyện đều đặt câu hỏi: Làm thế nào để tôi không bị phá vỡ? Làm thế nào để tôi bảo vệ doanh nghiệp của mình? Và họ đơn giản là không thấy con đường đó," Leven chia sẻ trong một cuộc phỏng vấn độc quyền với VentureBeat.

Cách Alchemy xây dựng mô hình từ một ứng dụng đang chạy

Hầu hết các phương pháp huấn luyện mô hình tùy chỉnh yêu cầu công ty phải thu thập, làm sạch và gán nhãn dữ liệu riêng trước khi bất kỳ quá trình tinh chỉnh nào bắt đầu. Alchemy đi theo một con đường khác: chính ứng dụng doanh nghiệp tạo ra và làm sạch dữ liệu huấn luyện.

Cơ chế này hoạt động thông qua cơ sở hạ tầng "Golden Data Pipelines" của Empromptu trong hai giai đoạn. Trước khi ứng dụng được xây dựng, dữ liệu doanh nghiệp được làm sạch, trích xuất và làm phong phú để ứng dụng bắt đầu với các đầu vào có cấu trúc. Khi ứng dụng đã chạy, mọi đầu ra mà nó tạo ra sẽ quay lại qua đường ống, nơi các chuyên gia trong tổ chức xem xét và sửa chữa nó. Đầu ra đã được xác thực này trở thành dữ liệu huấn luyện cho lần chạy tinh chỉnh tiếp theo.

"Chính ứng dụng, ứng dụng AI mà khách hàng đang tạo ra, sẽ làm sạch dữ liệu," Leven nói.

Các mô hình tinh chỉnh kết quả được Empromptu gọi là Expert Nano Models: các mô hình nhỏ, chuyên biệt cho nhiệm vụ cụ thể được tối ưu hóa cho một quy trình làm việc cụ thể thay vì lý luận chung. Việc đánh giá (Evals), rào chắn an toàn (guardrails) và các kiểm soát tuân thủ chạy trong cùng một đường ống, do đó quản trị đi kèm với quá trình huấn luyện. Khách hàng sở hữu hoàn toàn trọng số mô hình. Empromptu lưu trữ và chạy suy luận trên cơ sở hạ tầng của mình, nhưng các trọng số có thể di chuyển và xuất khẩu với một mức phí. Nền tảng này không phụ thuộc vào bất kỳ mô hình cụ thể nào, hỗ trợ Llama, Qwen và các mô hình cơ sở khác.

Rào cản khó khăn là khối lượng dữ liệu. Các triển khai ban đầu chạy trên mô hình cơ bản trong khi ứng dụng tích lũy đủ dữ liệu sản xuất để kích hoạt một lần chạy tinh chỉnh hữu ích. Leven thừa nhận mốc thời gian này mà không tô vẽ. "Việc huấn luyện mô hình sẽ chỉ mất thời gian," bà nói thẳng thắn.

Alchemy khác biệt với tinh chỉnh được quản lý ở người thực hiện công việc

API tinh chỉnh của OpenAI và các mô hình tùy chỉnh AWS Bedrock đều cung cấp tinh chỉnh cho doanh nghiệp. Cả hai đều yêu cầu tổ chức mang theo các tập dữ liệu huấn luyện đã được chuẩn bị riêng và quản lý quy trình tinh chỉnh bên ngoài ngăn xếp ứng dụng của họ. Gánh nặng chuẩn bị dữ liệu và đánh giá mô hình nằm ở đội ngũ ML của khách hàng.

Sự khác biệt của Alchemy nằm ở việc tích hợp quy trình. Dữ liệu huấn luyện được tạo bởi chính ứng dụng doanh nghiệp, do đó không có bước chuẩn bị dữ liệu riêng và không cần chuyên môn về ML. Quy trình làm việc của ứng dụng chính là đường ống dữ liệu.

"Tôi có cần Bedrock và đi xây dựng một đội ngũ ML khác để tìm hiểu cách tinh chỉnh mô hình và tìm hiểu tất cả cơ sở hạ tầng đó không? Không, bây giờ bất kỳ ai cũng có thể làm được," Leven nói.

Sự đánh đổi là sự phụ thuộc vào nền tảng. Alchemy chỉ hoạt động trong môi trường Empromptu. Các doanh nghiệp muốn có kết quả tương tự trên cơ sở hạ tầng hiện có sẽ cần tự tái tạo quy trình thu thập dữ liệu, xác thực và tinh chỉnh.

Một công ty sức khỏe hành vi giảm 87% thời gian tài liệu hóa phiên làm việc nhờ Alchemy

Empromptu đang nhắm đến các lĩnh vực dọc có quy định cao và dữ liệu dày đặc trước tiên: chăm sóc sức khỏe, dịch vụ tài chính, công nghệ pháp lý, bán lẻ và dự báo doanh thu. Đây là những lĩnh vực mà đầu ra của mô hình chung mang rủi ro không phù hợp cao nhất và dữ liệu quy trình độc quyền tập trung nhiều nhất.

Trong số những người dùng sớm có công ty sức khỏe hành vi Ascent Autism, sử dụng Alchemy để tự động hóa tài liệu hóa phiên làm việc và giao tiếp với phụ huynh.

Các điều phối viên sử dụng bản ghi âm phiên học, bản chép, ghi chú phiên và các chỉ số hành vi để tạo ra các ghi chú có cấu trúc và cập nhật cá nhân hóa cho phụ huynh. Quy trình làm việc này trước đây yêu cầu một đến hai giờ viết mỗi phiên. Với Alchemy huấn luyện trên cùng dữ liệu đó, giờ đây chỉ mất 10 đến 15 phút.

"Chỉ dựa vào các mô hình dựa trên API có thể trở nên đắt đỏ rất nhanh," Faraz Fadavi, đồng sáng lập và CTO của Ascent Autism, chia sẻ với VentureBeat. "Alchemy đã cung cấp cho chúng tôi một cách để cấu trúc quy trình làm việc, huấn luyện các mô hình trên dữ liệu của riêng mình, và giảm chi phí đồng thời cải thiện chất lượng đầu ra theo thời gian."

Fadavi cho biết công ty đã thấy các đầu ra có thể sử dụng nhanh chóng, với sự cải thiện liên tục khi hệ thống được tinh chỉnh. Tiêu chí đánh giá vượt ra ngoài độ chính xác để bao gồm khả năng truy xuất nguồn gốc về dữ liệu phiên và tính nhất quán của đầu ra với giọng điệu lâm sàng của công ty.

"Chúng tôi muốn một hệ thống có thể học quy trình làm việc của chúng tôi và tạo ra các đầu ra phù hợp với cách chúng tôi thực sự vận hành — không chỉ là tóm tắt văn bản," ông nói.

Bài kiểm tra thực tế: bao nhiêu điều phối viên cần chỉnh sửa, liệu đầu ra có khớp với giọng điệu của họ không và liệu nó có giảm ý nghĩa thời gian dành ra hay không. Các điều phối viên đã chuyển từ việc viết lại các ghi chú được tạo sang việc chỉnh sửa và kiểm tra chất lượng chúng.

Điều này có ý nghĩa gì đối với các doanh nghiệp

Vòng quay dữ liệu (data flywheel) là có thật — nhưng sự phụ thuộc vào nền tảng cũng vậy:

Mọi quy trình làm việc đều là một cơ hội huấn luyện. Các doanh nghiệp thu thập và xác thực đầu ra từ các ứng dụng AI sản xuất của mình sẽ nhân đôi lợi thế đó theo thời gian. Việc sử dụng nhiều hơn tạo ra nhiều tín hiệu huấn luyện hơn, tạo ra các mô hình cụ thể trong lĩnh vực chính xác hơn, tạo ra đầu ra tốt hơn, tạo ra dữ liệu huấn luyện sạch hơn trong chu kỳ tiếp theo.

Leven định vị Alchemy là một lựa chọn kiến trúc thứ ba. Trong hai năm qua, các doanh nghiệp đã phải lựa chọn giữa RAG để truy cập kiến thức lĩnh vực và tinh chỉnh để chuyên biệt hóa mô hình. Huấn luyện mô hình dựa trên quy trình làm việc là một lựa chọn thứ ba, kết hợp sự cải tiến liên tục của tinh chỉnh với sự đơn giản vận hành của việc xây dựng bên trong một nền tảng được quản lý.

"Sở hữu hào dữ liệu đó là loại tiền tệ có giá trị nhất," Leven kết luận.