GPT-4.1 không thực sự ngẫu nhiên: Nghiên cứu thú vị về cách AI chọn số

GPT-4.1 không thực sự ngẫu nhiên: Nghiên cứu thú vị về cách AI chọn số

Con người vốn dĩ không phải là những trình tạo số ngẫu nhiên tốt. Nếu bạn yêu cầu một người "chọn ngẫu nhiên một con số từ 1 đến 100", câu trả lời của họ thường rất dễ đoán. Chúng ta thường có xu hướng chọn các con số lộn xộn như 37 hoặc 73, các con số mang tính biểu tượng văn hóa như 42, và né tránh các số tròn. Vậy thì các mô hình ngôn ngữ lớn (LLM) như GPT-4.1, được huấn luyện trên dữ liệu văn bản của con người, sẽ hành xử như thế nào trước yêu cầu này? Liệu chúng có tạo ra một phân phối đều như một con xúc xắc công bằng, hay chúng sẽ kế thừa những "thói quen" chọn số của con người?

Một dự án nghiên cứu mới trên GitHub đã thực hiện một thử nghiệm quy mô lớn để trả lời câu hỏi này bằng cách yêu cầu GPT-4.1 chọn một con số ngẫu nhiên giữa 1 và 100 tổng cộng 10.000 lần.

Thử nghiệm quy mô lớn

Nghiên cứu sử dụng mô hình gpt-4.1 thông qua API của OpenAI với nhiệt độ (temperature) được đặt là 1.0. Đây là mức cài đặt cho phép mô hình khai thác toàn bộ phân phối lấy mẫu của mình, giúp kết quả đa dạng nhất có thể. Mỗi lệnh gọi đều độc lập và yêu cầu mô hình chỉ trả về một số nguyên duy nhất.

Kết quả sau 10.000 lần thử nghiệm đã được so sánh với một phân phối đều (uniform distribution) — tiêu chuẩn của một trình tạo số ngẫu nhiên hoàn hảo.

Biểu đồ phân phối kết quả thử nghiệm

Kết quả: Sao chép thiên kiến của con người

Kết quả kiểm tra chi-square (χ²) cho thấy sự lệch lạc là quá lớn để coi là ngẫu nhiên. GPT-4.1 hoàn toàn không phải là một trình tạo số ngẫu nhiên đều. Thay vào đó, nó tạo ra một phân phối "lồi lõm" mô phỏng rõ rệt hành vi của con người:

• Các con số phổ biến: 37 và 73 xuất hiện với tần suất gấp 3 đến 4 lần kỳ vọng. Đây là những con số thường được con người lựa chọn vì cảm giác "ngẫu nhiên" nhất.
• Yếu tố văn hóa: Con số 42 (từ bộ truyện "Hướng dẫn du lịch dải Ngân hà") cũng được chọn nhiều gấp 4 lần bình thường, cho thấy AI đã nắm bắt được các meme văn hóa.

Năm con số được chọn nhiều nhất là 47, 57, 72, 37 và 42. Đáng chú ý, trong số này có 3 con số kết thúc bằng chữ số 7, trùng khớp với tâm lý chọn số của con người.

Tránh xa các số tròn

Một điểm thú vị nữa là GPT-4.1 còn tránh các số tròn (bội số của 10) mạnh mẽ hơn cả con người. Trong 10.000 lần thử nghiệm, tất cả các bội số của 10 (trừ số 10) đều không được chọn lần nào. Số 10 chỉ xuất hiện đúng một lần. Điều này cho thấy mô hình đã học sâu sắc việc con người thường coi các số tròn là "không ngẫu nhiên".

Ngoại lệ thú vị: Con số 69

Tuy nhiên, có một điểm khác biệt lớn giữa AI và con người: con số 69. Con người thường chọn số này nhiều hơn mức bình thường do các yếu tố đùa cợt trên mạng internet. Ngược lại, GPT-4.1 lại chọn số này ít hơn kỳ vọng (chỉ khoảng 0.29 lần so với dự đoán).

Các nhà nghiên cứu cho rằng đây là tác động của các hàng rào an toàn (safety guardrails) trong quá trình huấn luyện trước và sau của mô hình. AI dường như đã được điều chỉnh để tránh các nội dung nhạy cảm hoặc thô thiển, ngay cả khi đó chỉ là một con số.

Kết luận

Nghiên cứu này khẳng định rằng một LLM được huấn luyện trên văn bản của con người, khi được yêu cầu ngẫu nhiên, sẽ tái tạo lại thiên kiến chọn số của con người. Tuy nhiên, thiên kiến này không phải là một bản sao y hệt mà là một phiên bản đã được "điều chỉnh" bởi các cơ chế an toàn của nhà phát triển. Điều này cung cấp thêm cái nhìn sâu sắc về cách AI xử lý các khái niệm trừu tượng như sự ngẫu nhiên và cách dữ liệu huấn luyện cùng các chính sách an toàn định hình hành vi của mô hình.