Suy luận AI như tìm đường trong không gian token

Khi hỏi một mô hình suy luận cùng một bài toán mười lần, ta sẽ nhận được mười chuỗi tư duy khác nhau. Cách nhìn quen thuộc — cho mô hình "nghĩ lâu hơn" thì khả năng đúng sẽ cao hơn — không giải thích được hết các quan sát thực tế. Alex Wang đề xuất một khung lý giải khác: coi suy luận là bài toán tìm đường (pathfinding) trong không gian token.

Suy luận là tìm đường tới tập đáp án đúng

Với mỗi câu hỏi đầu vào $x$, mô hình cần sinh ra một chuỗi token $z$ kết thúc bằng đáp án $y(z)$. Giả sử có một bộ kiểm chứng (verifier) $r(x, y)$ trả về 1 nếu $y$ đúng và 0 nếu sai. Tập đáp án được chấp nhận là:

$$\Scal_x = {y : r(x, y) = 1}$$

Mỗi mẫu $z$ là một nỗ lực tìm đường từ ngữ cảnh xuất phát $x$ tới $\Scal_x$. Có rất nhiều đường đi hợp lệ: với bài toán $1 + 2 + 3 + \cdots + 10$, có thể cộng dần từng số, hoặc ghép cặp từ ngoài vào ($1+10$, $2+9$, $3+8$, $4+7$, $5+6$, mỗi cặp bằng 11, năm cặp là 55). Cả hai cách đều tới đáp án 55.

Xác suất thành công $p_x$ là tổng xác suất của mọi đường đi rơi vào tập đáp án đúng:

$$p_x = \sum_{z ,:, y(z) \in \Scal_x} \pi(z \mid x)$$

Điểm mấu chốt: có hai cách nâng $p_x$ — mô hình sinh nhiều đường đi tới cùng đáp án với xác suất nhỏ, hoặc sinh một đường đi duy nhất với xác suất rất cao. Bản thân xác suất thành công không phân biệt hai cách này.

Hai cách tăng xác suất thành công

Lấy mẫu best-of-$k$: sinh $k$ đường đi và tìm một đường đúng. Mỗi đường đi trượt với xác suất $1 - p_x$, nên cả $k$ đường cùng trượt với xác suất $(1-p_x)^k$:

$$\prob{\text{ít nhất một trong } k \text{ đường đi rơi vào } \Scal_x} = 1 - (1-p_x)^k$$

Đây là trục mở rộng tính toán (compute-scaling) được đảm bảo: miễn $p_x > 0$, càng lấy nhiều mẫu thì càng chắc chắn thành công. Nhưng lưu ý — sự mở rộng này nằm ở số lượng mẫu, không phải ở độ dài mỗi chuỗi tư duy.

Huấn luyện mô hình sinh mẫu tốt hơn: thu thập nhiều câu hỏi có đáp án kiểm chứng được, lấy mẫu các đường đi, giữ lại những đường đi đúng và huấn luyện mô hình trên chúng, rồi lặp lại. Vòng lặp này gọi là rejection-sampling fine-tuning, với STaR là phiên bản đầu tiên cho bài toán suy luận.

RL với phần thưởng kiểm chứng được là gì

Học tăng cường (RL — reinforcement learning) với phần thưởng kiểm chứng được, cách huấn luyện các mô hình suy luận hiện nay, hóa ra làm điều gần như tương đương. Vì kỳ vọng phần thưởng nhị phân chính là xác suất thành công $p_x$, gradient của nó theo log-derivative trick trùng khớp với policy gradient (còn gọi là REINFORCE):

$$\grad_\theta, p_x = \ev[z \sim \pi_\theta(\cdot \mid x)]{r(x, y(z)), \grad_\theta \log \pi_\theta(z \mid x)}$$

Ước lượng gradient bằng $N$ mẫu, với $M$ mẫu thành công, ta được hai thành phần:

• Tỷ lệ thành công thực nghiệm $M/N$
• Log likelihood trung bình của các đường đi thành công

Nói cách khác, một bước REINFORCE với phần thưởng nhị phân chính là một bước rejection-sampling fine-tuning trên các mẫu của chính mô hình, nhân với tỷ lệ thành công hiện tại.

Điều này cũng giải thích vì sao chuỗi tư duy dài ra trong quá trình RL: mỗi bước kéo mô hình về phía các đường đi thành công, nên nếu những đường đi đúng thường dài hơn (do hành vi quay lui, thu thập thêm phản hồi, hoặc chỉ là may mắn), mô hình sẽ học cách viết dài hơn.

Đền bù chi phí tìm kiếm và khả năng tổng quát hóa

Trong huấn luyện, ta tốn nhiều tính toán để tìm đường đi tốt rồi huấn luyện mô hình sinh trực tiếp các đường đi đó. Đã huấn luyện xong, mô hình có thể đưa ra đáp án mà không cần lấy mẫu nhiều đường đi nữa. Đây là đền bù chi phí tìm kiếm (amortization): trả một lần lúc huấn luyện để không phải trả mỗi lần hỏi. Vì huấn luyện một mô hình duy nhất trên nhiều câu hỏi, mô hình có thể tổng quát hóa sang câu hỏi chưa từng gặp — nhưng độ chính xác giảm dần khi câu hỏi mới càng xa phân phối huấn luyện.

Ý tưởng dùng tìm kiếm đắt đỏ để tìm đáp án tốt rồi huấn luyện mạng nơ-ron dự đoán rẻ hơn không chỉ có trong mô hình ngôn ngữ: AlphaZero chạy tìm kiếm cây ở mỗi nước đi tự đối kháng và huấn luyện policy network ưu tiên các nước đi tìm được; các nhà vật lý và dự báo thời tiết cũng làm vậy với mô phỏng.

Vì sao chuỗi tư duy không trung thực

Bộ kiểm chứng chỉ xét đáp án cuối cùng, phần thưởng là 1 nếu $y(z) \in \Scal_x$ và 0 nếu không. Các token trung gian $z$ chỉ là phương tiện để tới đáp án — không có gì bắt buộc chúng phải đúng hay giải thích được đáp án phía sau, dù nhờ tiền huấn luyện mà hai điều này thường tương quan. Muốn chuỗi tư duy có ý nghĩa, cần điều chỉnh phần thưởng hoặc mục tiêu huấn luyện.

Reward hacking đến từ cả bộ kiểm chứng lẫn bộ lấy mẫu

Nếu bộ kiểm chứng không hoàn hảo, tập $\Scal_x$ không còn trùng với tập đáp án đúng: nó có thể chứa đáp án sai và bỏ sót đáp án đúng. Khoảng lệch này mở ra những vùng mà mô hình có thể học cách "đáp xuống" dù không phải điều ta mong muốn. Vì thế reward hacking đến từ bộ kiểm chứng kém, đồng thời từ quy trình lấy mẫu kém trong việc tránh các vùng đường tắt đó.

Cách nhìn này cũng cho thấy vì sao mở rộng quy mô RL — sinh nhiều mẫu hơn, mẫu dài hơn — lại khiến reward hacking dễ xảy ra hơn: càng "dò" bộ kiểm chứng nhiều, càng dễ tìm ra đường đi rơi vào vùng bị chỉ định sai; khi mô hình đã tìm ra đường tắt, huấn luyện sẽ đẩy nó về phía hành vi tương tự.

Suy luận thực chất đang giải bài toán gì?

Câu trả lời ngắn: không giải mục tiêu nào cả. Một đường đi riêng lẻ không được đảm bảo hội tụ về đáp án đúng; chỉ khi tính trên toàn bộ phân phối đường đi ta mới có xác suất thành công cao. RL nâng trực tiếp $p_x$ bằng cách tốn nhiều tính toán tìm các đường đi thành công rồi huấn luyện mô hình tái tạo chúng. Lợi ích mà ta gán cho "nghĩ lâu hơn" thực ra đến từ tìm kiếm đã trả phí trong lúc huấn luyện, chứ không phải lúc suy luận. Chi phí lấy mẫu được đền bù vào trọng số, nên khi suy luận mô hình có khả năng thành công chỉ với một mẫu — nhưng không có mẫu nào được đảm bảo thành công.

Góc nhìn

Với đội ngũ phát triển AI tại Việt Nam, cách nhìn này có hệ quả thực tế khi thiết kế hệ thống dùng mô hình suy luận. Nếu bài toán cần độ chính xác cao, đầu tư vào bộ kiểm chứng đáng tin cậy và lấy mẫu nhiều lần (best-of-$k$) thường hiệu quả hơn là kỳ vọng một chuỗi tư duy duy nhất luôn đúng. Đồng thời cần nhớ rằng chuỗi tư duy dài không đồng nghĩa với đáng tin cậy hơn, và phần thưởng mô tả sai mục tiêu sẽ bị mô hình khai thác.

Khi xây dựng pipeline đánh giá hay huấn luyện tinh chỉnh trên dữ liệu tự sinh, nên xem xác suất thành công ở mức phân phối thay vì vài mẫu đơn lẻ, và tách biệt chi phí tìm kiếm lúc phát triển khỏi chi phí suy luận thực tế để tính toán ngân sách tính toán hợp lý.