Bài học từ những can thiệp xã hội thất bại

Adam Mastroianni vừa đăng một bài viết đáng chú ý trên Experimental History, lập luận rằng trước khi triển khai bất kỳ chính sách xã hội hay chương trình thiện nguyện lớn nào, chúng ta nên "hiến tế một con dê" — theo nghĩa ẩn dụ. Nghi thức kỳ quặc này không nhằm cầu xin thần linh, mà để tự nhắc mình rằng chúng ta biết rất ít về điều mình đang làm. Vấn đề đáng bàn: rất nhiều can thiệp thiện chí nhất lại chẳng mang lại kết quả gì.

Bài viết nhanh chóng leo lên bảng thảo luận công nghệ khi chạm đúng nỗi đau của giới kỹ sư và nhà sản phẩm: niềm tin rằng một ý tưởng hay là đủ, mà quên mất bước kiểm chứng liệu nó có thực sự hoạt động.

Khi ý định tốt không tạo ra kết quả

Tác giả dẫn hàng loạt ví dụ với số liệu cụ thể. Năm 2009, Quốc hội Mỹ chi 3 tỷ USD cho chương trình "School Improvement Grants" dành cho các trường hoạt động kém nhất — theo những gì có thể xác định, số tiền này không tạo ra tác động nào.

Minh họa về các chương trình can thiệp xã hội

Các trường đại học tuyển một Giám đốc Đa dạng (Chief Diversity Officer) trong giai đoạn 2001–2019 không có thêm sinh viên, giảng viên hay cán bộ quản lý đa dạng hơn. Chính phủ Mỹ chi 280 triệu USD giúp phụ nữ Afghanistan có việc làm, và hiện không thể nói chắc liệu có người phụ nữ nào có được việc làm hay không.

Câu chuyện "One Laptop Per Child" cũng tương tự: một thử nghiệm ngẫu nhiên có đối chứng (RCT) kéo dài 10 năm tại 531 trường nông thôn ở Peru cho thấy không có tác động nào lên kết quả học tập. Bốn thông điệp khác nhau nhằm thuyết phục phụ huynh tiêm phòng cho con đều thất bại, và một trong số đó còn vô tình khiến phụ huynh tin rằng vắc-xin gây tự kỷ.

Phía bên kia chính trường cũng không khá hơn. Khi Arkansas thêm yêu cầu lao động vào Medicaid, số người có bảo hiểm y tế giảm mà không có bất kỳ sự gia tăng việc làm nào. Chương trình Building Strong Families của chính quyền Bush năm 2002 nhằm củng cố quan hệ các cặp vợ chồng thu nhập thấp đã không đạt được bất kỳ mục tiêu nào sau ba năm đánh giá độc lập.

Những "định luật kim loại" của Peter Rossi

Năm 1987, nhà xã hội học Peter Rossi công bố một bài báo nửa đùa nửa thật mang tên "The Iron Law of Evaluation and Other Metallic Rules". Ông sau này gọi đây là nguồn gốc của "sự xấu hổ đáng kể", nhưng nó lại trở thành di sản trí tuệ của ông. Nội dung gồm bốn định luật:

• Định luật Sắt: Tác động kỳ vọng ròng của một chương trình xã hội lớn là bằng không.
• Định luật Thép không gỉ: Đánh giá được thiết kế càng tốt thì càng dễ tìm thấy hiệu ứng bằng không.
• Định luật Đồng thau: Chương trình càng nhằm thay đổi con người thì tác động càng dễ bằng không.
• Định luật Kẽm: Những chương trình dễ được đánh giá nhất là những chương trình dễ thất bại nhất.

Bốn định luật kim loại của Rossi

Trước khi qua đời năm 2006, Rossi cố gỡ lại, khẳng định đã có "một số lượng lớn các đánh giá tác động được tiến hành tốt với quy mô hiệu ứng có ý nghĩa thống kê". Nhưng chính ông cũng kết luận: "chúng ta thực sự không biết liệu các chương trình trên nhiều lĩnh vực có đáng giá hay không".

Ảo tưởng kiểm soát và cái bẫy của sự tự tin

Tác giả truy vết vấn đề về một nghiên cứu năm 1975 nổi tiếng trong các lớp Tâm lý học 101: "Ảo tưởng kiểm soát" (Illusion of Control). Phiên bản được giảng dạy phổ biến — người ta định giá vé số cao hơn khi được tự chọn số — hóa ra không đúng với nghiên cứu gốc, vốn dùng thẻ bóng bầu dục. Các bản sao chép có đăng ký trước với vé số thật đã không tìm thấy khác biệt nào.

Tuy vậy, tác giả lập luận ảo tưởng kiểm soát vẫn tồn tại ngoài đời: người ta thổi xúc xắc ở bàn craps, mặc đồ lót may mắn khi đội nhà vào chung kết, hét "coi chừng!" với nhân vật trong phim kinh dị. Và niềm tin rằng ý định của mình đủ mạnh để tạo ra kết quả chính là lý do nhiều người can thiệp vào đời sống người khác mà không hề đặt câu hỏi liệu cách làm của mình có hiệu quả không.

Con số đáng chú ý: Quỹ Khoa học Quốc gia Mỹ tài trợ hơn 1.000 dự án giáo dục STEM, nhưng theo phân tích của Stuart Buck, 76% trường hợp nhà nghiên cứu vận hành chương trình không hề cố gắng đánh giá chúng bằng thực nghiệm.

Ngay cả giới thiện nguyện tư nhân cũng vậy. Năm 2018, tỷ phú Kenneth Langone của Home Depot quyên 100 triệu USD để miễn học phí tại trường y chính của Đại học New York, nhằm khuyến khích sinh viên chọn chuyên khoa lương thấp và thu hút sinh viên thu nhập thấp. Không điều nào xảy ra: cơ cấu sinh viên không đổi, lựa chọn chuyên khoa cũng không đổi. Lượng hồ sơ nộp vào trường thì tăng 47%.

So sánh thu nhập giữa các chuyên khoa y

Lý do khá rõ: nợ học phí trung bình khoảng 200.000 USD, trong khi chênh lệch thu nhập giữa bác sĩ phẫu thuật chỉnh hình (trung bình 564.000 USD/năm) và bác sĩ gia đình (khoảng 281.000 USD/năm) lên tới 9 triệu USD trong 30 năm sự nghiệp. Miễn học phí không thay đổi được phép tính đó.

Ba giai đoạn của nỗi đau

Khi đối diện với hàng loạt can thiệp thất bại, tác giả cho rằng con người thường trải qua ba giai đoạn tương tự như mất mát.

Mặc cả: "Ý tưởng lớn thất bại thì cần đến Lẽ thường và những ý tưởng hiển nhiên đúng". Nhưng các RCT lớn được thiết kế tốt liên tục tìm thấy hiệu ứng bằng không của việc chuyển tiền mặt không điều kiện. Trong một nghiên cứu, người thu nhập thấp nhận 2.000 USD không ràng buộc lại kém hạnh phúc hơn so với người nhận 500 USD hoặc không nhận gì.

Phủ nhận: Lập luận "không có người Scotland thật" — kết quả xấu ắt là do ai đó làm sai. Tác giả phản bác rằng lập luận này đòi hỏi niềm tin vào việc vài chỉnh sửa nhỏ sẽ mở khóa hiệu ứng khổng lồ, di sản của thời tâm lý học tiền khủng hoảng sao chép.

Chấp nhận: Nghe có vẻ tốt nhưng thực ra là cái bẫy — dễ dẫn đến kết luận rằng cải thiện đời sống con người là bất khả thi. Tác giả so sánh: giống như phát hiện trích máu không hiệu quả rồi kết luận không y học nào có thể hiệu quả.

Thay vì buông xuôi

Lập luận trung tâm của bài viết: khoa học xã hội vẫn đang ở giai đoạn giả kim thuật. Chúng ta chưa hiểu cơ chế nền tảng của tâm trí con người, chưa nói đến điều gì xảy ra khi những tâm trí ấy kết hợp trong xã hội và nền kinh tế. Việc triển khai các chương trình thay đổi hành vi con người hiện tại giống như cố chữa ung thư bằng y học Galen hay đưa người lên mặt trăng bằng vật lý Aristotle.

Nhưng điều đó không có nghĩa là mọi nỗ lực đều vô vọng. Galen từng đúng khi xác định thận chứ không phải bàng quang sản sinh nước tiểu; Aristotle đúng khi mô tả cách vật thể chuyển động trong chất lưu, dù quy sai lực. Tác giả kết lại bằng câu nói của Seneca gần 2.000 năm trước: hãy làm lớn thêm những gì đã nhận được, để di sản truyền lại cho hậu thế trong trạng thái phong phú hơn.

Góc nhìn

Với giới kỹ sư phần mềm và nhà sản phẩm Việt Nam, bài học ở đây rất cụ thể: "chúng ta biết mình đang làm gì" là ảo tưởng phổ biến nhất trong phát triển sản phẩm. Một tính năng được thiết kế với ý định tốt nhưng không có đo lường, không có nhóm đối chứng và không có tiêu chí thành công rõ ràng sẽ lặp lại đúng vòng lặp mà bài viết mô tả — tiêu tốn nguồn lực và để lại những giả định chưa được kiểm chứng.

Các đội ngũ phát triển ở Việt Nam thường có lợi thế về quy mô nhỏ và tốc độ thử nghiệm, điều kiện lý tưởng để chạy A/B test và thử nghiệm có kiểm soát trước khi mở rộng. Thay vì coi trọng "cảm giác đúng" của người ra quyết định, việc định nghĩa trước chỉ số thành công và chấp nhận kết quả bằng không như một phát hiện có giá trị sẽ tiết kiệm chi phí hơn nhiều so với việc triển khai ào ạt rồi mới đi tìm lý do.

Nói cách khác, nghi thức "hiến tế dê" mà tác giả đề xuất có phiên bản kỹ thuật của nó: viết ra giả thuyết, đặt chỉ số đo lường, và sẵn sàng nói "chúng tôi đã sai" khi dữ liệu cho thấy vậy.