Sử dụng Claude Opus trên AWS Bedrock: Một bài học đắt giá 30.000 USD về quản lý chi phí đám mây

Thế giới trí tuệ nhân tạo (AI) đang bùng nổ với nhiều cơ hội thú vị, nhưng cũng ẩn chứa những "cái bẫy" chi phí đắt đỏ cho những người không cẩn trọng. Một độc giả của The Register mới đây đã phải "ngồi nhìn" hóa đơn lên tới 30.141,33 USD sau khi trải nghiệm mô hình Claude Opus của Anthropic thông qua nền tảng Amazon Bedrock.

Điều đáng nói là nạn nhân này đã thiết lập công cụ AWS Cost Anomaly Detection (CAD) để tránh những bất ngờ về tài chính, nhưng nó hoàn toàn không hoạt động như mong đợi.

Lỗ hổng trong cơ chế giám sát chi phí

Trước khi bắt đầu sử dụng Bedrock, người dùng này đã cấu hình ngưỡng cảnh báo cho CAD là "Absolute ≥ $100 AND Relative ≥ 40%". Về lý thuyết, bất kỳ khoản chi phí nào vượt quá mức này đều sẽ kích hoạt thông báo. Họ cũng chọn tùy chọn giám sát "AWS Services", mà theo mô tả của Amazon sẽ "tự động theo dõi tất cả các dịch vụ AWS".

Tuy nhiên, thực tế phũ phàng hơn nhiều. Vấn đề nằm ở chỗ AWS CAD không hỗ trợ giám sát chi phí từ AWS Marketplace. Và thật không may, các mô hình AI của Anthropic Claude trên Bedrock lại được tính toán phí chính thông qua kênh AWS Marketplace này.

Tín dụng AWS che giấu rủi ro

Sự cố trở nên phức tạp hơn do cơ chế tín dụng khuyến mãi. Người dùng này có khoản tín dụng AWS Activate trị giá khoảng 8.026,54 USD. Trong những tuần đầu tiên, các khoản phí phát sinh từ việc suy luận (inference) mô hình Claude đã được khấu trừ vào số tín dụng này.

Điều này tạo ra một "màn sương" che khuất sự thật: người dùng không nhận thấy chi phí đang tăng lên vì họ không phải trả tiền mặt ngay lập tức. Khi số tín dụng cạn kiệt, AWS bắt đầu tính phí trực tiếp vào tài khoản, nhưng vì CAD không hoạt động với Marketplace, không có cảnh báo nào được gửi đi.

Kết quả là hóa đơn cuối cùng bao gồm 30.141,33 USD cho phí sử dụng mô hình và thêm 675,07 USD cho cơ sở hạ tầng AWS.

Góc nhìn từ chuyên gia và lời khuyên

Corey Quinn, một chuyên gia kinh tế đám mây tại Duckbill Group, nhận định rằng việc Bedrock tính phí qua Marketplace là điều "không trực quan" nếu người dùng không nghiên cứu kỹ tài liệu. Ông cho biết ông thường sử dụng dịch vụ trực tiếp từ Anthropic để tận dụng các tính năng cảnh báo và giới hạn chi phí theo thời gian thực.

"Việc chi tiêu cho mô hình Bedrock lại nằm ở Marketplace là điều không trực quan trừ khi bạn quá am hiểu về AWS," - Corey Quinn chia sẻ.

Đây là một bài học cảnh tỉnh cho các kỹ sư và doanh nghiệp sử dụng đám mây. Nếu đào sâu vào tài liệu của AWS về CAD, sẽ có dòng cảnh báo rằng dịch vụ này không hỗ trợ AWS Marketplace. Tuy nhiên, việc kết nối giữa Bedrock và Marketplace không phải lúc nào cũng rõ ràng với người dùng thông thường.

Một phát ngôn viên của AWS đã xác nhận với The Register rằng công ty cung cấp nhiều công cụ để quản lý chi phí, bao gồm AWS Budgets, công cụ này có thể bao gồm chi phí Bedrock trên Marketplace. Họ cũng nhấn mạnh rằng khách hàng nên liên hệ bộ phận hỗ trợ nếu có thắc mắc.

Đối với những ai đang làm việc với AI trên đám mây, câu chuyện này nhắc nhở tầm quan trọng của việc kiểm soát chi phí (cost control) và hiểu rõ cơ chế billing của từng dịch vụ con để tránh những cú sốc tài chính không đáng có.