DoorDash xây dựng nền tảng GenAI nội bộ phục vụ hơn 5.000 người dùng

Swaroop Chitlur và Sidd Kodwani đã chia sẻ chi tiết về hành trình DoorDash xây dựng một nền tảng AI tạo sinh (GenAI) nội bộ quy mô lớn. Bài trình bày tập trung vào các quyết định kiến trúc then chốt, quá trình chuyển dịch từ mô hình thuê ngoài sang mô hình trọng số mở, và cách đội ngũ xử lý các cổng kết nối LLM lẫn agent.

Điểm đáng chú ý là nền tảng này hiện phục vụ hơn 5.000 người dùng nội bộ, đặt ra bài toán cân bằng phức tạp giữa độ chính xác, độ trễ và chi phí — những yếu tố luôn mâu thuẫn với nhau trong mọi hệ thống AI quy mô lớn.

Từ nhà cung cấp bên ngoài đến mô hình trọng số mở

Một trong những bước ngoặt quan trọng nhất trong hành trình của DoorDash là việc chuyển dịch chiến lược. Ban đầu, đội ngũ ưu tiên sử dụng các giải pháp từ nhà cung cấp bên ngoài (vendor-first) vì tốc độ triển khai nhanh và không cần đầu tư hạ tầng.

Tuy nhiên, khi quy mô người dùng tăng lên, các hạn chế dần lộ rõ:

• Chi phí tăng theo cấp số nhân khi số lượng truy vấn tăng
• Khó kiểm soát dữ liệu nhạy cảm khi phải gửi ra bên ngoài
• Phụ thuộc vào lộ trình phát triển của nhà cung cấp
• Độ trễ không ổn định do phải chờ phản hồi từ xa

Việc chuyển sang các mô hình trọng số mở (open-weights) giúp DoorDash chủ động hơn về hạ tầng, tối ưu chi phí dài hạn và linh hoạt tinh chỉnh mô hình theo nhu cầu riêng.

Cổng kết nối LLM và Agent

Kiến trúc của nền tảng được xây dựng xoay quanh hai thành phần trung tâm:

LLM Gateway đóng vai trò lớp trừu tượng hóa, cho phép các ứng dụng nội bộ gọi nhiều mô hình khác nhau mà không cần thay đổi mã nguồn. Cổng này xử lý việc định tuyến, ghi log, giới hạn tần suất và quản lý chi phí.

Agent Gateway hỗ trợ các tác vụ phức tạp hơn, nơi mô hình cần gọi công cụ, truy xuất dữ liệu hoặc phối hợp nhiều bước. Đây là phần quan trọng để biến GenAI từ một công cụ hỏi đáp đơn thuần thành trợ lý có khả năng thực thi.

Việc tách biệt hai cổng kết nối giúp đội ngũ DoorDash dễ dàng nâng cấp từng phần mà không ảnh hưởng đến toàn bộ hệ thống.

Cân bằng độ chính xác, độ trễ và chi phí

Với hơn 5.000 người dùng nội bộ, mỗi quyết định kỹ thuật đều có tác động tài chính rõ rệt. DoorDash phải liên tục cân nhắc:

• Mô hình lớn cho kết quả chính xác hơn nhưng tốn kém và chậm hơn
• Mô hình nhỏ phản hồi nhanh, rẻ hơn nhưng có thể kém chính xác ở tác vụ phức tạp
• Bộ nhớ đệm (cache) giúp giảm chi phí cho các truy vấn lặp lại
• Định tuyến thông minh để chọn mô hình phù hợp với từng loại yêu cầu

Bài học cho doanh nghiệp Việt Nam

Câu chuyện của DoorDash mang lại nhiều gợi ý cho các doanh nghiệp Việt Nam đang bắt đầu ứng dụng GenAI:

• Bắt đầu từ nhu cầu thực tế, không chạy theo công nghệ
• Xây dựng lớp trừu tượng ngay từ đầu để tránh bị khóa vào một nhà cung cấp
• Đo lường chi phí trên mỗi người dùng để có quyết định hạ tầng hợp lý
• Cân nhắc mô hình trọng số mở khi quy mô đủ lớn để tối ưu chi phí

Với các công ty công nghệ trong nước, việc xây dựng nền tảng GenAI nội bộ có thể là bước đi chiến lược giúp tận dụng dữ liệu riêng và bảo vệ thông tin nhạy cảm — những yếu tố ngày càng quan trọng trong bối cảnh chuyển đổi số mạnh mẽ hiện nay.