Dayjob: Tax — Khi AI agent làm kế toán thuế chuyên nghiệp và vẫn trượt 90% bài kiểm tra

Surge AI vừa bổ sung Dayjob: Tax vào họ benchmark Dayjob của mình, gồm 50 tình huống thuế chuyên nghiệp mô phỏng công việc thực tế của kế toán và chuyên gia tư vấn thuế. Kết quả cho thấy các mô hình AI hàng đầu vẫn chật vật: mô hình dẫn đầu chỉ đạt tỷ lệ vượt qua 10,8%, dù đã được đánh giá ở ngưỡng khá khắt khe.

Điều đáng chú ý là bài kiểm tra này không đo khả năng trả lời câu hỏi thuế đơn thuần, mà đo thứ khó hơn nhiều: phán đoán chuyên môn — biết khi nào cần điều tra thêm, nhận ra vấn đề mà khách hàng không hề hỏi tới, và xử lý thông tin mâu thuẫn trong hồ sơ.

Bài toán của Anna: đúng đáp án nhưng thiếu một hạn chót

Một trong những tình huống tiêu biểu kể về Anna, người đang cân nhắc bán căn hộ. Cô chuyển đi từ tháng 8/2024 và muốn biết nên chốt giao dịch vào tháng 10/2026 hay tháng 1/2027 để tối ưu thuế.

AI agent đã trả lời đúng rằng cả hai mốc thời gian đều thỏa điều kiện cư trú để được miễn thuế lên tới 250.000 USD lợi nhuận. Nhưng nó bỏ sót một hạn chót quan trọng: theo quy định thông thường, chủ nhà phải sống tại bất động sản ít nhất 2 trong 5 năm trước khi bán. Vì Anna rời đi từ tháng 8/2024, quyền miễn thuế của cô sẽ hết hạn vào khoảng cuối tháng 8/2027 — nếu giao dịch bị trì hoãn quá mốc này, cô có thể mất toàn bộ ưu đãi.

Qua năm lần thử, mô hình Astra không lần nào phát hiện ra hạn chót này, trong khi Opus nhận ra ở cả năm lần. Đây chính là kiểu phán đoán mà một chuyên gia thuế giỏi phải có: nhận diện rủi ro hệ trọng kể cả khi khách hàng không biết để hỏi.

Minh họa bảng xếp hạng Dayjob: Tax

Kết quả: mô hình tốt nhất cũng chỉ đạt hơn 10%

Trên bảng xếp hạng Dayjob: Tax, thứ hạng dẫn đầu thuộc về Claude Sonnet 5.5 với tỷ lệ vượt qua 10,8%, tiếp theo là Claude Fable 5.1 (9,6%) và Claude Opus 5.5 (9,2%). Bài kiểm tra dùng chỉ số pass@1 với ngưỡng rubric 95%: một lần thử được coi là đạt khi thỏa ít nhất 95% tiêu chí của nhiệm vụ, bao gồm tính toán, bằng chứng hỗ trợ, các vấn đề hệ trọng và sản phẩm bàn giao hoàn chỉnh.

Nhóm nghiên cứu cũng so sánh hiệu năng với chi phí trung bình mỗi lần thử, và Sonnet 5.5 cùng Opus 5.5 nằm ở vùng hiệu năng cao của đường biên Pareto được đo đạc.

Đường biên Pareto giữa hiệu năng và chi phí

Bên trong 50 nhiệm vụ thuế

Dayjob: Tax trải rộng trên 8 lĩnh vực hành nghề thuế, mỗi lĩnh vực đòi hỏi bộ quy tắc, hồ sơ và chuyên môn khác nhau:

• Thuế cá nhân và gia đình
• Thuế doanh nghiệp nhỏ
• Thuế hợp danh (partnership)
• Bất động sản và đầu tư
• Di sản, quà tặng và tín thác
• Thuế quốc tế
• Giao dịch doanh nghiệp
• Rà soát và giải quyết tranh chấp thuế

Các bài tập chứa tổng cộng 1.789 tệp làm việc, trung vị 30 tệp mỗi nhiệm vụ và có bài lên tới 123 tệp. Trong đó có 1.487 file PDF, 117 bảng tính Excel, 38 tài liệu Word, cùng email, hình ảnh, CSV, JSON và văn bản. Hồ sơ bao gồm tờ khai thuế đã nộp và bản nháp, K-1, W-2, thông báo của IRS, sổ cái, bảng lương, hợp đồng và thư từ trao đổi.

Điểm thú vị là các bằng chứng "phi chuẩn hóa" mà dân thuế vẫn gặp hằng ngày. Một nhiệm vụ yêu cầu agent đọc ảnh chụp hóa đơn viết tay cho hàng hóa mua để bán lại, đối chiếu số tiền với sổ chi tiêu rồi xác định tác động lên hàng tồn kho và giá vốn hàng bán.

Hóa đơn viết tay trong một nhiệm vụ của Dayjob: Tax

Một nhiệm vụ khác liên quan đến công ty dịch vụ silo công nghiệp. Khách hàng cho rằng công ty chỉ hoạt động tại Alabama, nhưng nhật ký điều phối hiện trường lại cho thấy các đội thi công làm việc xuyên 5 bang. Địa điểm, quy mô đội và số ngày tại công trường là bằng chứng trực tiếp cho nghĩa vụ thuế đa bang của doanh nghiệp.

Nhật ký điều phối hiện trường hé lộ hoạt động đa bang

Bài học từ một vụ ly hôn và tài khoản hưu trí

Một cặp vợ chồng đang ly thân hỏi AI cách chia tài khoản Roth IRA và 401(k). Opus 5.5 khẳng định họ không phải vợ chồng hợp pháp và khuyên giữ nguyên từng tài khoản, bù trừ bằng một khoản tiền mặt. Nhưng hồ sơ của chính khách hàng lại gợi ý điều ngược lại: họ từng sống chung ở Texas — nơi công nhận hôn nhân không chính thức trong một số điều kiện — và từng tổ chức lễ cưới ở Colorado, dù hiện sống tại Florida.

Sự khác biệt này có thể thay đổi hoàn toàn hệ quả thuế khi chia tài khoản hưu trí. Trong cả năm lần thử, Opus đều xoay quanh giả định họ chưa kết hôn, kể cả khi thừa nhận còn mơ hồ. Astra thì nhận ra cần xác minh tình trạng hôn nhân ở 4/5 lần, có lần khuyên thẳng: "Trước tiên, chúng ta cần xác nhận tình trạng hôn nhân hợp pháp của bạn."

Vì sao benchmark này khác các bài kiểm tra thuế trước đây

Phần lớn benchmark thuế hiện có bắt đầu từ một vấn đề đã được định nghĩa rõ: một câu hỏi pháp lý cần trả lời, một tờ khai cần tính, hay thông tin người nộp thuế còn thiếu cần thu thập. Chúng đo năng lực quan trọng, nhưng phần lớn công việc thực tế của chuyên gia thuế lại là xác định xem vấn đề thực sự là gì.

Dayjob: Tax đặt câu hỏi ở tầng cao hơn: liệu agent có biết khách hàng đã đặt đúng câu hỏi chưa? Anna muốn so sánh hai ngày bán căn hộ — cả hai đều thỏa điều kiện miễn thuế, nhưng agent có cảnh báo cô về thời điểm quyền miễn thuế hết hạn không? Hay với một xưởng studio, sổ cái có nhắc đến hóa đơn đính kèm nhưng hóa đơn lại bị thiếu — agent có nêu ra bằng chứng bị khuyết hay vô tình coi khoản hoàn ứng là đã được kiểm chứng?

Toàn bộ nhiệm vụ được xây dựng từ quy trình nghề nghiệp thực tế và trải qua ba lớp rà soát chuyên gia về tính chính xác, đầy đủ và khả năng giải quyết. Nhóm chuyên gia tham gia đến từ PwC, Deloitte, EY, Baker Tilly, Moss Adams và Windes, bao quát từ thuế doanh nghiệp, vốn cổ phần tư nhân đến hợp danh phức tạp và khách hàng giàu có.

Ý nghĩa với thị trường AI tại Việt Nam

Kết quả này là lời nhắc tỉnh táo cho các doanh nghiệp Việt Nam đang tìm cách ứng dụng AI vào kế toán — thuế, một lĩnh vực mà tính chính xác và trách nhiệm pháp lý đặc biệt quan trọng. Việc tuân thủ quy định thuế tại Việt Nam, với các luật sửa đổi liên tục và yêu cầu hóa đơn điện tử, cũng đặt ra những thách thức tương tự: dữ liệu phân tán, chứng từ không đồng nhất và những rủi ro mà khách hàng không biết để hỏi.

Các agent có thể thực hiện từng bước riêng lẻ, nhưng việc đưa ra phán đoán chuyên môn và vận hành quy trình thuế thực tế một cách đáng tin cậy vẫn nằm ngoài tầm với.

Nói cách khác, AI hiện tại có thể là trợ lý đắc lực cho kế toán viên, nhưng chưa thể thay thế người chịu trách nhiệm cuối cùng. Nhóm nghiên cứu kết luận ngắn gọn: các agent vẫn chưa vượt qua được kỳ kiểm toán.

Bảng xếp hạng đầy đủ có tại trang benchmark Dayjob: Tax của Surge AI.