Vì sao AI luôn chọn số 7 khi được yêu cầu chọn số ngẫu nhiên từ 1 đến 10?

Một biểu đồ lan truyền trên mạng xã hội X gần đây đã thu hút sự chú ý của cộng đồng công nghệ: khi được yêu cầu chọn một số từ 1 đến 10, các mô hình ngôn ngữ lớn (LLM) gần như chỉ chọn duy nhất số 7. Hiện tượng này tưởng chừng đơn giản nhưng thực chất phản ánh cách các mô hình AI được huấn luyện và vận hành.

Biểu đồ so sánh phân bố lựa chọn số giữa máy phát ngẫu nhiên, con người và mô hình LLM

Con người cũng chẳng giỏi chọn số ngẫu nhiên

Trước khi nói về AI, cần nhìn lại chính con người. Chúng ta cũng là những cỗ máy tạo số ngẫu nhiên tồi. Trong một khảo sát của YouGov, có tới 33% người Anh chọn số 7 khi được yêu cầu chọn số từ 1 đến 10, trong khi các số ở hai đầu như 1, 2, 9, 10 gần như bị bỏ trống.

Lý do khá thú vị: khi được yêu cầu chọn một số "ngẫu nhiên", con người không rút từ một phân bố đều. Chúng ta tìm số nào cảm giác là ngẫu nhiên nhất. Số 1 và 10 là các cạnh nên "dễ đoán", số 5 ở giữa quá hiển nhiên, số chẵn trông quá gọn gàng. Còn số 7 là số lẻ, số nguyên tố, không ở giữa cũng không ở rìa, lại mang nhiều ý nghĩa văn hóa: 7 ngày trong tuần, 7 kỳ quan, 7 hiền nhân. Hiệu ứng này thậm chí còn có tên gọi riêng: "hiện tượng xanh-bảy" (blue-seven), vì khi được hỏi về màu sắc, hầu hết mọi người đều trả lời màu xanh dương.

Gradient descent giải thích đỉnh, không giải thích mũi nhọn

Theo tác giả của biểu đồ lan truyền, gradient descent là lý do mô hình chọn số 7. Điều này đúng một nửa, và đúng một nửa đôi khi còn nguy hiểm hơn là sai hoàn toàn.

Quá trình huấn luyện cơ bản (pretraining) hoạt động như sau: mô hình có mười "núm vặn" ứng với mỗi số, mỗi núm thể hiện xác suất mô hình tin rằng số đó sẽ được chọn. Khi được cho xem câu trả lời thật của con người, mô hình đo mức độ "bất ngờ" bằng công thức cross-entropy, rồi điều chỉnh từng núm vặn theo hướng giảm bất ngờ. Kích thước điều chỉnh tỷ lệ thuận với chênh lệch giữa dự đoán của mô hình và thực tế.

Kết quả là mô hình sao chép lại phân bố của con người, không phải phóng đại nó. Nếu con người chọn số 7 với xác suất 30% thì mô hình học được cũng khoảng 30%. Con dốc của con người vẫn là con dốc, chứ không thành mũi nhọn. Vậy đâu là nguyên nhân khiến mô hình "cứng đầu" chỉ chọn số 7?

Nghi phạm thứ nhất: post-training

Sau giai đoạn pretraining, mô hình trải qua bước tinh chỉnh (post-training), thường bằng RLHF (Học tăng cường từ phản hồi của con người). Lúc này mục tiêu không còn là "đừng bất ngờ" mà là "làm hài lòng người chấm điểm". Con người so sánh các cặp câu trả lời và chọn câu họ thích hơn; một mô hình thưởng học cách dự đoán sở thích này; và mô hình ngôn ngữ được huấn luyện để cho ra các câu trả lời đạt điểm cao.

Về mặt toán học, quá trình này là một phép cập nhật Bayes: mô hình sau huấn luyện bằng xác suất tiên nghiệm (mô hình gốc) nhân với yếu tố thưởng dựa trên sở thích của người chấm. Người chấm có xu hướng thích những câu trả lời "điển hình", mà câu trả lời điển hình chính là câu mô hình đã thấy có khả năng cao nhất. Kết quả là núm vặn lớn nhất ngày càng phình to, các núm khác teo dần.

Hiện tượng này được gọi là mode collapse (sụp đổ về mode), và nó biểu hiện qua việc mất hiệu chuẩn (calibration). Báo cáo kỹ thuật GPT-4 từng ghi nhận mô hình gốc được hiệu chuẩn tốt hơn nhiều so với mô hình cuối cùng sau khi tinh chỉnh.

Nghi phạm thứ hai: cách lấy mẫu (decoding)

Ngay cả khi không huấn luyện thêm, cách chúng ta lấy câu trả lời từ mô hình cũng đủ biến con dốc thành mũi nhọn. Mô hình không tự nói "số 7"; nó đưa ra mười xác suất, ví dụ 30% cho số 7, 12% cho số 3, v.v. Rồi một cơ chế gọi là decoding biến các xác suất đó thành một câu trả lời duy nhất.

Cơ chế này thường điều chỉnh bằng tham số temperature (T). Mỗi xác suất được nâng lên lũy thừa 1/T, rồi chuẩn hóa lại cho tổng bằng 100%. Với T = 0.5, mọi xác suất bị bình phương: số 7 từ 30% vọt lên khoảng 58%, còn số 3 từ 12% tụt xuống còn khoảng 9%. Khi T tiến về 0, mô hình luôn chọn số có xác suất cao nhất, con dốc biến thành một cột duy nhất.

Đồ thị minh họa cách tham số temperature biến phân bố dạng đồi thành mũi nhọn

Đây chính là phân bố Boltzmann quen thuộc trong vật lý thống kê, lý giải vì sao tham số này được đặt tên là "nhiệt độ". Các ứng dụng chat thường chạy với T dưới 1, hoặc cắt bỏ các câu trả lời ít khả năng (kỹ thuật top-k và top-p) để câu trả lời mạch lạc hơn. Nhưng với yêu cầu "chọn số ngẫu nhiên", điều này lại phản tác dụng.

Phép so sánh có phần chưa công bằng

Cần lưu ý rằng biểu đồ so sánh khập khiễng: đường cong của con người là phân bố của cả một quần thể, còn đường cong của LLM là của một cá thể được hỏi đi hỏi lại nhiều lần trong những phiên chat mới, không có ký ức. Nếu bạn nhân bản cùng một người thành nghìn bản và hỏi họ trong cùng một tâm trạng, kết quả có lẽ cũng sẽ nhọn hoắt chẳng kém.

Vậy làm sao để thực sự lấy được số ngẫu nhiên từ AI?

• Để máy tính làm việc của máy tính: yêu cầu mô hình viết và chạy code (random.randint(1, 10)). Đây là cách đúng đắn nhất.
• Hỏi về phân bố thay vì lấy mẫu: yêu cầu "đưa ra 5 câu trả lời khả dĩ kèm xác suất". Cách này thường mở ra nhiều lựa chọn hơn hẳn, vì mô hình mô tả phân bố thay vì rơi vào mode.
• Tăng temperature, nếu bạn có quyền truy cập API. Cách này giúp ích phần nào nhưng không thể hồi sinh những đuôi phân bố đã bị post-training chôn vùi.

Kết luận

Mô hình ngôn ngữ lớn không phải là máy tạo số ngẫu nhiên tồi vì nó "ngu". Nó tồi vì chúng ta đã huấn luyện nó để trở nên cực giỏi trong việc đưa ra câu trả lời mà ta mong đợi. Và khi ai đó nói "chọn một số ngẫu nhiên", điều mà hầu hết chúng ta thầm mong nghe thấy chính là... số 7.

Gradient descent quyết định đỉnh nằm ở đâu, nhưng không quyết định nó nhọn đến mức nào. Post-training và decoding mới là thứ hoàn thiện mũi nhọn đó.