Dừng gọi ngày đầu tiên đạt ý nghĩa thống kê là chiến thắng

Hầu hết các nhóm sản phẩm chạy A/B testing theo một cách quen thuộc: mở dashboard mỗi sáng, nhìn p-value, và dừng thử nghiệm ngay khi con số này tụt xuống dưới 0,05. Nhưng thói quen tưởng chừng vô hại này đang bóp méo ý nghĩa của kết quả thống kê, biến tỷ lệ dương tính giả danh nghĩa 5% thành gần 28%.

Với một mô phỏng có kiểm soát từ dữ liệu giả lập, bài viết sẽ chỉ ra mức độ thiệt hại của hành vi "nhìn trộm" dữ liệu (peeking) và so sánh các phương pháp sửa lỗi giúp việc dừng sớm trở nên trung thực hơn.

Vấn đề không nằm ở phép thống kê, mà nằm ở cách chúng ta nhìn dữ liệu

Quy trình phổ biến của một bài A/B test thường là: xác định giả thuyết, chọn metric, chạy phép kiểm định hai tỷ lệ (two-proportion z test), và bác bỏ giả thuyết không khi p < 0,05. Một số hướng dẫn tiến bộ hơn còn yêu cầu tính cỡ mẫu trước khi bắt đầu.

Nhưng mấu chốt nằm ở chỗ: mức sai sót 5% được viết cho một lần nhìn vào một mẫu cố định. Khi bạn nhìn vào cùng một dashboard nhiều lần trước khi thử nghiệm kết thúc, toán học đã thay đổi. Mỗi lần kiểm tra lại là một cơ hội mới để "bắt được" một khác biệt do ngẫu nhiên, và xác suất gộp của việc này cao hơn nhiều so với 5%.

Mô phỏng: một thử nghiệm vô thưởng vô phạt hóa ra "có chiến thắng"

Để minh họa, tôi chạy một mô phỏng với thiết kế cố tình bình thường: hai phiên bản A và B, cả hai có tỷ lệ chuyển đổi thật đều là 10%; mỗi nhánh 1.000 khách truy cập mỗi ngày; kiểm định hai phía ở mức 5%; và 30 ngày lưu lượng. Không có sự khác biệt thật nào giữa A và B. Không có cải tiến sản phẩm nào để tìm ra. Thứ duy nhất thử nghiệm có thể phát hiện là nhiễu ngẫu nhiên.

Mô phỏng tỷ lệ dương tính giả khi nhìn dữ liệu nhiều lần

Kết quả từ 60.000 lần chạy mô phỏng cho thấy một con số đáng báo động:

Phương pháp	Tỷ lệ dương tính giả dưới giả thuyết không	Power với lift 10% thật	Số ngày điển hình để ra quyết định
Mẫu cố định, không nhìn trộm	5,1%	97,9%	30
Nhìn trộm hằng ngày, ngưỡng 0,05 ngây thơ	27,7%	không có ý nghĩa	khoảng 5
Nhìn trộm hằng ngày, đường biên Pocock	4,9%	93,3%	11
P-value luôn hợp lệ (always-valid)	1,5%	87,5%	14

"Nhìn trộm" không sai, nhưng phải nằm trong thiết kế thử nghiệm

Điều thường bị bỏ qua trong các cuộc họp sản phẩm là: tốc độ chỉ trở thành vấn đề khi nó nằm ngoài thiết kế. Với một mẫu cố định và mức ý nghĩa 5%, việc nhìn dữ liệu mỗi ngày rồi dừng lại ở "ngày may mắn" chính là hành vi phá vỡ cam kết thống kê ban đầu.

Với một lift thật 10%, thiết kế mẫu cố định bắt được hiệu ứng 97,9% số lần, nhưng chỉ sau ngày thứ 30. Đường biên Pocock bắt được 93,3% với quyết định điển hình vào ngày 11. P-value luôn hợp lệ bắt được 87,5% với quyết định vào ngày 14.

Đây là sự đánh đổi hữu ích: bạn có thể dừng sớm khi hiệu ứng là thật, nhưng không còn giả vờ rằng p < 0,05 đầu tiên có cùng ý nghĩa như một bài kiểm định mẫu cố định. Tốc độ dừng sớm trở thành một phần của thiết kế, thay vì là thói quen không chính thức chồng lên trên nó.

Một vài giới hạn cần nói rõ

Mô phỏng này chỉ đo một lát cắt của vấn đề: một metric, một nhánh điều trị so với một nhánh đối chứng, phân bổ ngẫu nhiên sạch và lưu lượng hằng ngày ổn định. Thực tế, các chương trình thử nghiệm thường phức tạp hơn: nhiều metric, nhiều biến thể, nhiều phân khúc cùng lúc. Mỗi lựa chọn đó lại thêm một tầng đa so sánh, nên các con số ở đây gần với mức sàn hơn là trường hợp tệ nhất.

Mô phỏng cũng không xử lý hiệu ứng tính mới (novelty effect) hay chu kỳ ngày trong tuần. Nếu người dùng phản ứng khác đi trong vài ngày đầu vì tính năng quá mới, hoặc doanh nghiệp có chu kỳ cuối tuần mạnh, bạn vẫn có thể cần thời gian chạy tối thiểu một hoặc hai tuần đầy đủ. Các phương pháp giảm phương sai như CUPED cũng hữu ích, nhưng chúng không tự sửa được lỗi đến từ quy tắc dừng.

Bài học thực tế không phải là "đừng nhìn dashboard". Đội ngũ sẽ luôn nhìn, và điều đó không sao. Hành động nhìn chỉ cần nằm trong thiết kế, thay vì xảy ra bên ngoài số liệu thống kê.

Điều hướng dẫn A/B testing tiếp theo nên dạy

Một cuốn hướng dẫn tốt hơn cần bốn thay đổi:

• Nêu rõ quy tắc dừng trước khi thử nghiệm bắt đầu, giống như cách bạn nêu metric và giả thuyết. Quy tắc dừng quyết định liệu p-value có còn ý nghĩa khi bạn sử dụng nó hay không.
• Nếu chỉ nhìn một lần, hãy tính công suất thống kê (power) và cam kết cỡ mẫu. Đây là thói quen cơ bản mang lại giá trị cao nhất và ai cũng làm được nếu biết cách tính effect size.
• Nếu sẽ nhìn nhiều lần, hãy dùng phương pháp được xây cho việc nhìn nhiều lần. Đường biên nhóm tuần tự (group-sequential) hoạt động khi số lần nhìn được ấn định trước. P-value luôn hợp lệ (always-valid) phù hợp khi đội ngũ muốn tự do kiểm tra bất cứ lúc nào.
• Báo cáo quy tắc dừng ngay cạnh kết quả. Người đọc cần thấy được liệu tuyên bố 5% có thật, hay chỉ trông có vẻ thật vì thử nghiệm dừng đúng vào ngày may mắn.

So sánh thời điểm vượt ngưỡng giữa các phương pháp

Kết luận

Phép kiểm định z là hoàn toàn hợp lệ khi được dùng đúng bối cảnh mà nó được tạo ra. Sai lầm đến từ việc dùng một cam kết được viết cho một lần nhìn duy nhất để biện minh cho nhiều lần nhìn. Hãy chọn quy tắc dừng khớp với hành vi thực tế của đội ngũ, và p-value sẽ giữ được ý nghĩa vốn có của nó.

Với các đội ngũ sản phẩm tại Việt Nam, nơi văn hóa "ship nhanh" và tối ưu chuyển đổi đang rất phổ biến, việc áp dụng các phương pháp như đường biên Pocock hay p-value luôn hợp lệ không quá phức tạp. Quan trọng nhất vẫn là thay đổi tư duy: một con số p < 0,05 chỉ đáng tin khi quy tắc dừng được tuyên bố trước, và việc nhìn dữ liệu nhiều lần phải được tính vào thiết kế thử nghiệm.

Tài liệu tham khảo

• Armitage, P., McPherson, C. K., and Rowe, B. C. Repeated Significance Tests on Accumulating Data. Journal of the Royal Statistical Society Series A, 1969.
• Wald, A. Sequential Analysis. Wiley, 1947.
• Pocock, S. J. Group Sequential Methods in the Design and Analysis of Clinical Trials. Biometrika, 1977.
• O'Brien, P. C., and Fleming, T. R. A Multiple Testing Procedure for Clinical Trials. Biometrics, 1979.
• Lan, K. K. G., and DeMets, D. L. Discrete Sequential Boundaries for Clinical Trials. Biometrika, 1983.
• Johari, R., Koomen, P., Pekelis, L., and Walsh, D. Always Valid Inference: Continuous Monitoring of A/B Tests. Operations Research, 2022.
• Howard, S. R., Ramdas, A., McAuliffe, J., and Sekhon, J. Time-uniform, Nonparametric, Nonasymptotic Confidence Sequences. Annals of Statistics, 2021.
• Deng, A., Lu, J., and Chen, S. Continuous Monitoring of A/B Tests without Pain: Optional Stopping in Bayesian Testing. IEEE DSAA, 2016.
• Kohavi, R., Tang, D., and Xu, Y. Trustworthy Online Controlled Experiments. Cambridge University Press, 2020.
• Simmons, J. P., Nelson, L. D., and Simonsohn, U. False-Positive Psychology. Psychological Science, 2011.

Ghi chú tái lập: các biểu đồ và tỷ lệ trong bài đến từ mô phỏng Python có seed sử dụng numpy, scipy và matplotlib. Không dùng dữ liệu ngoài. Mỗi thử nghiệm được mô phỏng từ ground truth đã biết — cách duy nhất để đo trực tiếp tỷ lệ dương tính giả.

Đường cong tỷ lệ chiến thắng thật giữa các phương pháp