50 điều API của Anthropic không thể làm và vấn đề cốt lõi về "trạng thái" trong phát triển AI

Lời tuyên bố miễn trách responsibility nhanh trước khi chúng ta bắt đầu: Claude đã giúp tôi viết bài này. Và điều đó hoàn toàn có chủ đích.

Không chỉ là "giúp đỡ" đơn thuần đâu.

Tôi đã cấp cho Claude quyền truy cập trực tiếp vào tài liệu của chúng tôi tại docs.backboard.io. Nó tự điều hướng, đọc tài liệu và tạo ra danh sách này.

Vậy nên, đúng là một AI do Anthropic tạo ra đã đọc tài liệu của chúng tôi và viết về những hạn chế của chính API của Anthropic.

Nó không tranh cãi. Nó không kháng cự. Bởi vì nó biết điều đó.

Vậy hãy nói về những gì nó biết.

API của Anthropic là vô trạng thái (stateless). API của OpenAI cũng vậy. Của Grok cũng vậy. Của OpenRouter cũng vậy.

Chỉ một từ ngữ duy nhất, "vô trạng thái", đã giải thích gần như mọi điểm đau mà các nhà phát triển gặp phải ngay khi họ bước ra ngoài một bản demo đồ chơi.

Và đúng là, chúng tôi giải quyết vấn đề này tại Backboard. Bạn nhận được trạng thái miễn phí trọn đời, nhân tiện. Không phải để giấu đi điểm quan trọng. Nhưng đó chỉ là một phần của câu chuyện.

Đây là điểm mấu chốt lớn hơn.

Vô trạng thái có nghĩa là mọi cuộc gọi API đều bắt đầu từ con số không.

Mô hình không biết bạn là ai. Nó không biết năm phút trước đã nói gì. Nó không biết người dùng của bạn quan tâm đến điều gì. Nó không biết điều gì đã xảy ra trong phiên làm việc trước.

Bạn gửi ngữ cảnh. Nó phản hồi. Kết nối đóng lại. Nó quên đi mọi thứ.

Đó không phải là lỗi. Đó là thiết kế.

Những API này là các nguyên thủy cấp thấp. Và các nguyên thủy cấp thấp lẽ ra phải đơn giản.

Nhưng ngay khoảnh khắc bạn cố gắng xây dựng một thứ gì đó thực sự, một thứ mà người dùng quay lại sử dụng, một thứ trở nên tốt hơn theo thời gian thay vì cảm thấy bị đặt lại mỗi phiên, bạn sẽ đâm vào tường.

Và bức tường đó là hạ tầng (infrastructure).

Quản lý phiên làm việc (session management). Xử lý cửa sổ ngữ cảnh (context window). Trích xuất và truy xuất bộ nhớ. Cơ sở dữ liệu vector cho RAG. Quản lý thông tin xác thực đa nhà cung cấp. Điều phối tác nhân (agent orchestration).

Không có thứ nào trong số đó đi kèm với API thô. Tất cả đều trở thành vấn đề của bạn.

Đó chính là nơi Backboard xuất hiện.

Backboard là một lớp API duy nhất xử lý tất cả những thứ đó trên hơn 17.000 mô hình, bao gồm Claude, GPT, Gemini, Grok và nhiều mô hình khác.

Trạng thái chia sẻ. Một khóa API duy nhất. Một lớp trừu tượng duy nhất.

Dưới đây là danh sách 50 điều cụ thể mà Backboard làm được nhưng API Anthropic thô thì không.

Chúng tôi sẽ phân tích tất cả trong một chuỗi series 5 phần, bắt đầu với khái niệm quan trọng nhất: "trạng thái" thực sự có nghĩa là gì.

Sau đó, chúng tôi sẽ xây dựng từ đó, cho đến các hệ thống đa tác nhân mà bạn có thể khởi chạy chỉ bằng cách mô tả những gì bạn muốn bằng tiếng Anh đơn giản.

Trong thời gian chờ đợi, đây là những tiêu đề chính. Hãy theo dõi tôi nếu bạn muốn xem tất cả 5 phần mà không cần đấu tranh với thuật toán.

Trạng thái và Khả năng Duy trì Hội thoại

• Duy trì toàn bộ cuộc hội thoại qua nhiều phiên làm việc mà không cần tự lưu trữ bất cứ thứ gì.
• Tiếp tục chính xác từ nơi bạn dừng lại, dù là vài ngày hay vài tuần sau.
• Cung cấp cho mỗi người dùng một luồng hội thoại riêng biệt.
• Chạy vô số luồng hội thoại cho mỗi trợ lý.
• Gắn thẻ (tag) các luồng hội thoại với siêu dữ liệu như ID người dùng, gói đăng ký hoặc kênh.
• Nhận lại toàn bộ lịch sử hội thoại có cấu trúc từ API bất cứ lúc nào.
• Giữ các luồng hội thoại hoạt động vô thời hạn cho đến khi bạn chủ động xóa chúng.

Bộ nhớ qua các Phiên làm việc

• Để trợ lý tự động ghi nhớ các tùy chọn của người dùng giữa các cuộc hội thoại hoàn toàn riêng biệt.
• Tự động trích xuất các sự thật từ các cuộc hội thoại và lưu trữ chúng trong cơ sở kiến thức.
• Tự động truy xuất các ký ức liên quan khi chúng quan trọng, mà không cần viết bất kỳ logic truy xuất nào.
• Tải trước những gì bạn đã biết về người dùng trước khi họ kịp nói lời nào.
• Tìm kiếm ngữ nghĩa trên mọi thứ mà trợ lý đã học về người dùng.
• Sử dụng bộ nhớ ở chế độ chỉ đọc, truy xuất mà không bao giờ ghi.
• Thêm, cập nhật hoặc xóa các ký ức cụ thể thông qua API.
• Tùy chỉnh chính xác các loại sự kiện nào được trích xuất, cho từng trợ lý.
• Sử dụng trích xuất bộ nhớ độ chính xác cao hơn cho các trường hợp sử dụng quan trọng.
• Chia sẻ mọi thứ mà trợ lý học về người dùng trên tất cả các cuộc hội thoại của người dùng đó.

Quản lý Cửa sổ Ngữ cảnh (Context Window)

• Tự động xử lý các cuộc hội thoại vượt quá giới hạn ngữ cảnh của mô hình.
• Không bao giờ phải đếm token thủ công hay viết logic cắt ngắn (truncation).
• Chuyển đổi mô hình giữa cuộc hội thoại mà không cần tính toán lại ngữ cảnh cho mô hình mới.
• Tự động điều chỉnh việc chia nhỏ tài liệu (chunking) khi mô hình thay đổi.

Định tuyến Mô hình và Truy cập Đa nhà cung cấp

• Truy cập hơn 17.000 mô hình chỉ với một khóa API duy nhất.
• Chuyển đổi mô hình giữa cuộc hội thoại mà không mất bất kỳ trạng thái hay lịch sử nào.
• Sử dụng các mô hình khác nhau cho các thông điệp khác nhau trong cùng một luồng.
• Định tuyến các truy vấn rẻ tiền sang các mô hình rẻ và các truy vấn khó sang các mô hình đắt tiền, trong cùng một luồng.
• Triển khai cơ chế chuyển đổi dự phòng (fallback) trong suốt khi một nhà cung cấp gặp sự cố.
• Duyệt toàn bộ danh mục mô hình theo chương trình, lọc theo khả năng, kích thước ngữ cảnh và giá cả.

RAG và Trí tuệ Tài liệu

• Tải lên một tài liệu và có thể truy vấn nó trong vài phút với hạ tầng bằng không.
• Nhận tìm kiếm kết hợp từ khóa và ngữ cảnh tự động cho mọi truy vấn.
• Lập chỉ mục các loại tài liệu hỗn hợp trong một cơ sở kiến thức, PDF nằm cạnh tệp mã và bảng tính.
• Giới hạn một tài liệu chỉ cho một cuộc hội thoại thay vì cho toàn bộ trợ lý.
• Chọn mô hình nhúng (embedding) và kích thước của riêng bạn cho từng trợ lý.
• Điều chỉnh số lượng đoạn (chunks) được truy xuất cho mỗi truy vấn.
• Lập chỉ mục các tệp mã nguyên bản cùng với văn xuôi.
• Kiểm tra trạng thái lập chỉ mục tài liệu và nhận lại số lượng đoạn và token từ API.

Gọi Công cụ với Trạng thái Liên tục

• Để mọi kết quả công cụ tự động trở thành một phần của lịch sử hội thoại liên tục.
• Nối nhiều vòng gọi công cụ mà không cần xây dựng lại trạng thái giữa các vòng.
• Lặp các cuộc gọi công cụ cho đến khi tác nhân đạt đến trạng thái hoàn thành.
• Chạy nhiều công cụ song song trong một phản hồi duy nhất.
• Truyền phát câu trả lời cuối cùng cho người dùng sau khi thực thi công cụ hoàn tất.

Tìm kiếm trên Web

• Cung cấp cho trợ lý quyền truy cập web thời gian thực chỉ với một tham số duy nhất.
• Để trợ lý tự quyết định khi nào cần tìm kiếm so với sử dụng những gì nó đã biết.
• Kết hợp tìm kiếm web trực tiếp, bộ nhớ liên tục và truyền phát trong một cuộc gọi API duy nhất.

Kiến trúc Đa tác nhân (Multi-Agent)

• Chạy các luồng tác nhân song song đồng thời và hợp nhất đầu ra trong một bộ điều phối.
• Xây dựng mạng lưới các tác nhân chuyên gia và bộ điều phối.
• Cung cấp cho mỗi tác nhân trong mạng lưới một mô hình riêng.
• Cung cấp cho mỗi tác nhân lời nhắc hệ thống (system prompt) và danh tính riêng.
• Cung cấp cho mỗi tác nhân khả năng gọi công cụ riêng biệt.
• Để mọi tác nhân trong mạng lưới chia sẻ những gì chúng biết về cùng một người dùng.
• Mô tả một hệ thống đa tác nhân hoàn chỉnh bằng tiếng Anh đơn giản và để nó được xây dựng cho bạn, không cần viết mã.

Điểm cuối cùng đó sẽ có một bài viết riêng. Đó là toàn bộ lý do để thực hiện tất cả các công việc khác trước đó.

Sắp có gì

Đây là phần mở đầu của một chuỗi series 5 phần. Mỗi bài viết sẽ lấy một phần của danh sách trên và phân tích kỹ lưỡng, bắt đầu từ những nguyên tắc đầu tiên. Nếu bạn không biết "trạng thái" là gì, Phần 1 sẽ giải thích. Nếu bạn chưa bao giờ nghĩ về sự khác biệt giữa ngữ cảnh hội thoại và bộ nhớ dài hạn, Phần 2 sẽ đề cập đến điều đó. Chúng tôi không giả định bất cứ điều gì.

Phần 1 (Cơ bản): Trạng thái là gì, tại sao nó quan trọng, và 10 mô hình có trạng thái đầu tiên được giải thích từ con số không.

Phần 2 (Trung cấp): Sự khác biệt giữa ngữ cảnh và bộ nhớ, và 10 mô hình làm cho trợ lý của bạn thực sự thông minh hơn theo thời gian.

Phần 3 (Nâng cao): RAG không cần hạ tầng. Tìm kiếm kết hợp, loại tài liệu hỗn hợp, phạm vi, tinh chỉnh.

Phần 4 (Chuyên gia): Định tuyến đa mô hình, chuỗi công cụ có trạng thái, và thực thi tác nhân song song.

Phần 5 (Bậc thầy): Mô tả hệ thống đa tác nhân bằng tiếng Anh đơn giản và để chúng được xây dựng cho bạn thông qua MCP.

Hãy theo dõi. Đến cuối cùng, bạn sẽ đi từ "trạng thái là gì" đến việc xây dựng các hệ thống mà hầu hết các đội nhóm phải mất nhiều tháng để kiến trúc.

Bắt đầu tại đây: docs.backboard.io Hoặc chỉ cần lấy một khóa API: app.backboard.io — $5 tín dụng miễn phí, không cần thẻ tín dụng.