Claude Code tiết lộ cách kiểm chứng mã do AI viết
Nhóm Claude Code cho biết khoảng 90% mã của họ do Claude viết và duyệt. Bài viết giải thích cách họ dùng kiểm thử end-to-end, property và differential để agent tự chứng minh kết quả, nhờ đó có thể chạy hàng chục đến hàng trăm agent song song.

Minh họa quy trình kiểm chứng mã nguồn do AI tạo ra
Phần lớn mã nguồn của nhóm Claude Code (thuộc Anthropic) hiện do chính Claude viết và duyệt, khoảng 90%. Ở quy mô đó, câu hỏi không còn là agent viết mã nhanh đến đâu, mà là làm sao để nó chứng minh được mã của mình chạy đúng.
Câu trả lời nằm ở vòng kiểm chứng (verification loop). Không có vòng này, một người chỉ chạy được một hai agent cùng lúc vì phải tự soát mọi thứ. Có vòng này, số agent chạy song song có thể lên tới hàng chục hoặc hàng trăm.
Vì sao kiểm chứng lại quan trọng đến vậy
Trong thử nghiệm nội bộ về sinh tệp có cấu trúc, việc thêm một bộ chấm điểm riêng đối chiếu kết quả của Claude với bộ tiêu chí (rubric) giúp tăng tỉ lệ thành công tới 10 điểm so với cách nhắc lệnh thông thường. Mức cải thiện lớn nhất rơi vào những bài khó nhất.
Điểm mấu chốt là chi phí đã đảo chiều. Việc từng rất tốn kém như viết kiểm thử, lập benchmark, soạn đặc tả hay chạy thử toàn trình giờ chỉ là một yêu cầu gửi cho agent. Agent tạo ra chúng nhanh như viết mã, và một khi đã có, chúng chạy như phần mềm nên có thể lặp lại nhiều lần mà gần như không tốn thêm token.
Kết quả kiểm thử còn được dùng để cải thiện chính agent. Ví dụ, nếu agent liên tục trượt một bài kiểm tra dò log tìm dữ liệu người dùng, nhóm có thể tạo một hook hoặc thêm quy tắc rõ ràng vào tệp CLAUDE.md để chặn lỗi đó về sau.
Ba kiểu kiểm thử nên ưu tiên
Trước khi chọn kiểu kiểm thử, cần tránh vài lỗi thường gặp. Kiểm thử chập chờn (flaky) sẽ dạy agent chạy lại thay vì sửa mã hỏng. Kiểm thử chậm khiến agent chạy ít bài hơn mỗi đợt, khó khoanh vùng lỗi. Các bài kiểm thử nặng nên đặt trước bước commit thay đổi.
Kiểm thử end-to-end (E2E) mô tả luồng người dùng thật, như thêm hàng vào giỏ, thanh toán, chuyển sang trang xác nhận. Nếu chỉ chọn một kiểu, hãy chọn kiểu này. E2E khó bị đánh lừa: tính năng chạy được hoặc không. Nó có tiêu chí hoàn thành rõ ràng và chỉ thẳng chỗ hỏng.
Kiểm thử đơn vị (unit test) nhanh và ít chập chờn hơn, nhưng vẫn có thể qua hết mà tính năng vẫn hỏng, vì cả agent lẫn bài kiểm thử đều không hiểu trọn vẹn nhiệm vụ. Với E2E, nhóm cho agent "tay và mắt" trên hệ thống đang chạy thật, dùng công cụ như CDP, trình giả lập (simulator) hay bộ khung API (API harness) để khởi động và soi ứng dụng.
Kiểm thử thuộc tính (property test) nhắm vào các trường hợp biên mà con người hay bỏ sót, cũng là chỗ agent thường thất bại. Cách làm: viết một mệnh đề tưởng như không thể sai, rồi dùng thư viện như fast-check (JS/TS), Hypothesis (Python) hay proptest (Rust) sinh hàng nghìn đầu vào để cố bác bỏ nó. Lợi thế là các ca biên này không mang thiên kiến của agent đã viết mã gốc, nên giữ được agent trung thực hơn. Kiểu này đặc biệt hữu ích khi viết lại hệ thống mà đặc tả đã lệch khỏi hành vi thực tế.
Kiểm thử sai biệt (differential test) dành cho các đợt di trú quy mô lớn, khi chức năng phải giữ nguyên. Cách làm là chạy song song hệ thống cũ và mới với cùng đầu vào, rồi so kết quả. Lệch nhau nghĩa là có lỗi hoặc thay đổi gây vỡ. Đầu vào nên là dữ liệu sinh ngẫu nhiên hoặc một mẫu lưu lượng thật. Cần chuẩn hóa các yếu tố không liên quan như khoảng trắng, và giữ danh sách thay đổi đã được duyệt cho những chỗ cố ý khác đi.
Chạy ứng dụng quan trọng hơn chạy kiểm thử
Với thay đổi trên nền tảng di động, không ai phát hành mà không thử trên trình giả lập. Với Claude cũng vậy. Agent có thể kiểm thử toàn ứng dụng như một kỹ sư QA: dùng tiện ích Claude trên Chrome cho web, MCP cho iOS/Android, computer use cho máy tính để bàn, hoặc chạy dịch vụ cục bộ với phần backend.
Để chuẩn hóa cách khởi động, nhóm tạo một skill tên verify, đặt trong thư mục .claude/skills/ của kho mã, càng gần đoạn mã liên quan càng tốt. Claude biết phải gọi skill này trước khi commit. Skill đó cần nhanh và ổn định, vì nó chính là bộ khung chạy thử nhanh (smoke test) của cả nhóm.
Dùng lỗi để quyết định việc gì cần con người
Không ai đọc nổi mọi thay đổi, nên nhóm lấy kết quả trượt làm tín hiệu cần người xem. Claude chạy các bước kiểm tra và tự sửa những gì hỏng. Nếu sau ba vòng vẫn trượt, Claude dừng và gọi người.
Người sở hữu mã viết bài kiểm tra cho mã đó, và chỉnh cho đến khi nó bắt đúng những gì chủ sở hữu sẽ bắt. Khi một bước kiểm tra kéo người duyệt vào, nó phải nói rõ lý do để người duyệt không phải tự suy từ bản diff.
Nhóm duy trì một danh sách kiểm tra độ tin cậy gồm 39 mục. Mỗi mục có một điều kiện kích hoạt đọc được từ diff, một bài kiểm tra, và các sự cố hay pull request làm căn cứ. Ví dụ mục "--resume tải lại bản ghi cũ": khi lưu trữ phiên hoặc kiểu thông điệp thay đổi, phải hỏi xem trường mới có tải an toàn không, vì bản ghi cũ không có trường đó. Claude đọc diff và chỉ kiểm những mục khớp điều kiện, thường từ 3 đến 10 mục, nên không ai phải nhớ hết các sự cố cũ.
Nguyên tắc thiết kế bộ kiểm chứng
Nhóm không cải thiện việc duyệt mã bằng cách xếp thêm người duyệt. Thêm một người duyệt thứ hai đắt hơn thường tệ hơn việc chỉnh người duyệt chính. Thay vào đó, họ dùng tệp REVIEW.md nêu rõ người duyệt cần chú ý gì với đoạn mã này.
Các vòng duyệt và kiểm chứng nên nối tiếp nhau. Mỗi vòng dựa trên ngữ cảnh của vòng trước và các lỗi đã gặp, thay vì soát lại từ đầu. Cách này rẻ hơn và tìm ra nhiều lỗi hơn.
Nguyên tắc cốt lõi: nếu một thay đổi có thể sửa được bài kiểm tra đánh giá nó thì bài kiểm tra đó đã hỏng. Code Review đọc REVIEW.md từ nhánh gốc hoặc nhánh mặc định, không bao giờ đọc từ thay đổi trong pull request. Các quy tắc chặn thay đổi phải nằm trên nhánh mà thay đổi không thể sửa.
Việc duyệt gắn với từng commit. Nếu có người đẩy mã trong lúc đang duyệt, kết quả duyệt không còn giá trị. Một bản duyệt đạt trên commit đã cũ là vô nghĩa.
Nhóm cũng chạy các bước kiểm tra rẻ trước. Nếu agent đẩy mã trước khi tự kiểm thử cục bộ, nó đã tiêu tốn thời gian dùng chung cho việc duyệt và CI trong khi có thể tự bắt lỗi. Ở nhóm này, Claude chạy kiểm thử, build và linter trước khi mở pull request.
Trong kho mã của mình, họ đóng dấu mỗi commit kèm cách nó được kiểm chứng, kể cả giá trị "none" để có thể truy vấn những commit chưa được kiểm chứng. Có cả cổng chặn commit nếu phiên làm việc không chứa lệnh /code-review hoặc /verify, hoạt động theo ba chế độ: tắt, quan sát và thực thi. Chế độ quan sát ghi lại những gì lẽ ra bị chặn để soát lại dương tính giả. Chế độ thực thi chặn thật. Commit vẫn có thể ghi lý do không được kiểm chứng trong thông điệp. Nếu đã bị chặn hai lần trong một phiên, lần thứ ba sẽ được cho qua để Claude không bị kẹt.
Đánh giá lại chính bộ đánh giá
Nhóm thường xuyên soát lại các bộ duyệt. Họ theo dõi số thay đổi đã hợp nhất bị hoàn tác, số thay đổi bị người bảo trì từ chối trước khi hợp nhất, và một tập con tương đương về kích thước những thay đổi vẫn sạch.
Cách đánh giá bài bản dựa trên các sự cố và lần hoàn tác trước đó. Với mỗi mẫu, họ dựng lại kho mã về trạng thái lúc duyệt và đưa sẵn đáp án một câu về lỗi là gì. Chỉ những phát hiện mô tả đúng lỗi đó mới được điểm. Các thay đổi đã hợp nhất và ổn định dùng làm nhóm đối chứng để tránh báo động thừa.
Tỉ lệ phát hiện được đo riêng ở ba mốc: phát hiện thô, sau kiểm chứng, và kết quả duyệt cuối. Nhờ vậy họ thấy được hệ thống có làm rơi lỗi mà nó đã tìm ra hay không.
Chiều thứ hai là mức độ quan trọng của thay đổi. Người duyệt giỏi phân biệt được lỗi buộc phải sửa, nên sửa và lỗi vặt. Code Review gắn nhãn Important, Nit hoặc Pre-existing; nhãn "pre-existing" nghĩa là người duyệt không quy trách nhiệm cho tác giả với lỗi đã có từ trước.
Cuối cùng, nhóm nâng tỉ lệ phát hiện đến ngưỡng mà lần cải thiện tiếp theo sẽ là học vẹt theo tập đánh giá chứ không phải bắt lỗi thật.
Khi bỏ sót lỗi, họ có hai cách biến nó thành quy tắc. Một là rút mẫu từ các bình luận duyệt mã của người và những pull request bị hoàn tác, chỉ giữ mẫu xuất hiện ở ít nhất hai pull request và đọc được từ diff. Ba agent sẽ cố bác bỏ mẫu đó, và một người duyệt qua pull request trước khi nó thành quy tắc. Hai là chạy lại ba bộ dò lỗi trên một pull request gắn với sự cố đã biết; nếu ít nhất hai bộ tìm ra, đó là lỗi có thể phát hiện được.
Kiểm thử chập chờn cũng bị xử lý tương tự. Claude không được phép bỏ qua, thêm lệnh chờ hay chạy lại đến khi đạt. Nếu không tìm ra nguyên nhân gốc, nó xóa bài kiểm thử đó và ghi lại lý do. Các quy tắc và tệp .md cũng chỉ phình ra nếu để mặc, nên nhóm dọn dẹp định kỳ.
Góc nhìn
Thông điệp dễ áp dụng nhất cho nhóm phát triển Việt Nam là đừng xem kiểm thử như việc phụ sau khi nhờ AI viết mã. Hãy đầu tư vào tầng kiểm chứng trước, đặc biệt là một script chạy thử toàn trình đủ nhanh để agent gọi được sau mỗi thay đổi. Khi đó, lập trình viên chuyển từ đọc từng diff sang định nghĩa "xong" là gì và soát bằng chứng.
Hai nguyên tắc nên áp dụng ngay: đặt quy tắc duyệt ở nhánh mà thay đổi không sửa được, và chỉ cho agent đẩy mã khi đã tự chạy kiểm thử cùng linter. Chi phí bỏ ra nhỏ, nhưng nó quyết định việc có chạy song song được nhiều agent hay không.
Nguồn: claude.dev · Quy trình biên tập


