Zoox và hành trình xây dựng nền tảng Cortex: Tăng năng suất lập trình viên nhờ LLM

Zoox và hành trình xây dựng nền tảng Cortex: Tăng năng suất lập trình viên nhờ LLM

Trong bài thuyết trình tại QCon, Amit Navindgi - Staff Software Engineer tại Zoox - đã chia sẻ câu chuyện về hành trình chuyển đổi hệ thống tài liệu phân mảnh của công ty thành một hệ sinh thái AI thống nhất. Ông giải thích cách Zoox xây dựng nền tảng nội bộ mang tên "Cortex", tích hợp RAG (Retrieval-Augmented Generation), các mô hình ngôn ngữ lớn đa phương thức (multi-modal LLMs) và API thân thiện với người đóng góp, nhằm giải quyết các điểm nghẽn trong vòng đời của lập trình viên.

Thách thức trong vòng đời của lập trình viên

Navindgi bắt đầu bằng cách mô tả lại trải nghiệm của một lập trình viên mới khi gia nhập một doanh nghiệp lớn ba năm trước: việc phải lục lọi qua hàng loạt tài liệu trên Confluence, GitHub, Slack và các file PDF ngẫu nhiên để hiểu cách hệ thống hoạt động. Quá trình "khám phá thông tin" này có thể ngốn hết tháng đầu tiên của nhân viên mới.

Ngày nay, các lập trình viên mong đợi AI có mặt ở khắp mọi nơi: trong trình soạn thảo mã, trong Slack và trong các công cụ khác. Nếu thiếu AI, công cụ đó thường bị coi là lỗi thời. Zoox đã đặt câu hỏi: Làm thế nào để AI giúp loại bỏ ma sát và rút ngắn các giai đoạn trong vòng đời phát triển phần mềm?

Tại sao cần xây dựng nền tảng riêng?

Zoox không thể đơn giản cung cấp cho nhân viên quyền truy cập vào ChatGPT công khai vì các ràng buộc nghiêm ngặt về bảo mật và dữ liệu. Là một công ty xe tự lái thuộc Amazon, họ xử lý mã nguồn nội bộ, thông tin khách hàng và dữ liệu phương tiện nhạy cảm.

Do đó, họ xác định các yêu cầu cốt lõi cho nền tảng của mình:

• Bảo mật: Dữ liệu không được rời khỏi mạng nội bộ.
• Xử lý PII: Thông tin nhận dạng cá nhân của nhân viên và hành khách phải được xử lý đúng cách.
• Tốc độ: Hệ thống phải phản hồi nhanh để hỗ trợ các ứng dụng tương tác thời gian thực.
• Đa phương thức: Hỗ trợ văn bản, hình ảnh và video (do đặc thù dữ liệu xe tự lái).
• Tích hợp sâu: Phải có quyền truy cập vào các hệ thống và kiến thức riêng biệt của Zoox.
• Thân thiện với người đóng góp: Mọi kỹ sư đều có thể mở rộng nền tảng này, không chỉ riêng đội ngũ AI.

Kiến trúc của nền tảng Cortex

Zoox đã xây dựng Cortex dựa trên các thành phần chính sau:

1. Cổng kết nối (Gateway): Sử dụng AWS Bedrock để truy cập các mô hình hiện đại như Claude và Nova một cách an toàn. Họ cũng tích hợp GCP để sử dụng các mô hình Gemini của Google, vốn mạnh hơn về thị giác. Thư viện LiteLLM được sử dụng để quản lý việc chuyển đổi giữa nhiều nhà cung cấp.
2. RAG và Knowledge Bases: Để giúp LLM hiểu về Zoox (ví dụ: "VH6 là gì?" - tên gọi thế hệ thứ 6 của xe Zoox), họ xây dựng các pipeline để nạp dữ liệu từ Confluence, Slack, GitHub README vào các cơ sở kiến thức. Việc tách biệt cơ sở kiến thức theo nguồn dữ liệu giúp cải thiện độ chính xác của tìm kiếm ngữ nghĩa.
3. Agents (Tác nhân) và Tools: Cortex sử dụng mô hình tác nhân, nơi LLM có thể lựa chọn và gọi các công cụ cụ thể để đạt được mục tiêu. Ví dụ, khi hỏi "Ai đang trực chiến (on-call) cho Zoox Intelligence?", tác nhân sẽ nhận biết đây là thông tin thời gian thực và gọi công cụ "on-call" thay vì tìm kiếm trong tài liệu tĩnh.

Để làm cho nền tảng dễ đóng góp, Zoox cung cấp "Agents as a Service" thông qua API. Các đội nhóm không cần triển khai stack tác nhân của riêng họ; họ chỉ cần gọi REST API với danh sách các công cụ mà họ muốn tác nhân sử dụng. Cortex sẽ xử lý việc thực thi, mở rộng quy mô và an toàn.

Con người trong vòng lặp (Human-in-the-Loop)

Một trong những thách thức lớn khi sử dụng tác nhân AI là rủi ro thực hiện các hành động không mong muốn (ví dụ: tạo hàng trăm ticket Jira hoặc gửi email sai cho CEO). Zoox giải quyết vấn đề này bằng cơ chế "Human-in-the-Loop".

Họ sử dụng các decorator để đánh dấu các công cụ là "read-only" (chỉ đọc) hoặc "write" (ghi). Khi tác nhân muốn thực hiện một hành động ghi, nó sẽ yêu cầu xác nhận từ người dùng trước khi thực sự thực thi. Điều này giúp ngăn chặn lỗi, bảo vệ khách hàng và xây dựng niềm tin vào hệ thống.

Ứng dụng thực tế và chiến lược thúc đẩy adoption

Zoox đã xây dựng hơn 50 ứng dụng trên nền tảng Cortex, bao gồm:

• Humblebrag: Một ứng dụng giúp tổng hợp hoạt động của nhân viên từ GitHub, Jira, Slack để hỗ trợ viết tự đánh giá (self-review) và đánh giá đồng nghiệp (peer review) trong mùa đánh giá hiệu suất.
• ZI AutoAssist: Một bot Slack tự động trả lời các câu hỏi hỗ trợ kỹ thuật, giúp giảm tải cho đội ngũ và giảm thiểu việc chuyển đổi ngữ cảnh (context switching) của lập trình viên.

Tuy nhiên, xây dựng công cụ chỉ là một nửa cuộc chiến. Navindgi nhấn mạnh tầm quan trọng của việc thúc đẩy việc áp dụng (adoption):

• AI Champions: Xác định những người ủng hộ AI ở từng bộ phận để giúp định hình nền tảng và lộ trình.
• Hackathon: Tổ chức các cuộc thi hackathon là cách nhanh nhất để tạo ra hàng chục công cụ AI có tác động cao và khơi dậy sự hứng thú trong toàn công ty.
• Đào tạo và Dashboard: Tổ chức các buổi đào tạo chuyên biệt (ví dụ: "Cafe Cursor" cho người dùng thành thạo Cursor) và xây dựng bảng điều khiển để theo dõi mức sử dụng và tác động của AI.

Bài học kinh nghiệm

Navindgi đúc kết hai nguyên tắc vàng giúp đội ngũ của ông tiết kiệm thời gian và nguồn lực:

1. Chỉ xây dựng những gì bạn không thể mua: Nếu có công cụ của bên thứ ba giải quyết được 80% nhu cầu, hãy mua nó. Dành thời gian kỹ thuật cho những vấn đề chỉ riêng công ty bạn mới giải quyết được.
2. 1 > 2 > 0: Một giải pháp tốt tốt hơn hai giải pháp cạnh tranh, nhưng hai giải pháp cạnh tranh vẫn tốt hơn không có gì gì cả. Trong kỷ nguyên AI, tốc độ là quan trọng; hãy xây dựng bản sao nếu cần thiết để di chuyển nhanh, sau đó sẽ hội tụ lại sau.

Cuối cùng, ông khuyên các nhà lãnh đạo AI nên "chống lại sự cường điệu" (resist the hype) và tập trung vào tác động thực tế. Đừng vội vàng chuyển sang mọi mô hình mới ra mắt; hãy đánh giá chúng cẩn thận và chọn những gì thực sự mang lại giá trị cho đội ngũ.