Chúng được cấu thành từ những trọng số
Một câu chuyện ngắn mang tính châm biếm về bản chất thực sự của các Mô hình Ngôn ngữ Lớn (LLM). Thay vì não bộ sinh học hay logic phức tạp, trí thông minh nhân tạo hiện nay chỉ đơn giản là phép nhân ma trận và hàng tỷ con số vô hồn.

Chúng được cấu thành từ những trọng số (Xin lỗi Terry Bisson, dựa trên truyện ngắn "They're Made Out of Meat" của ông)
"Chúng được cấu thành từ những trọng số."
"Trọng số ư?"
"Trọng số. Các số thực dấu chấm động. Chúng tôi đã kiểm tra kỹ càng toàn bộ. Nó chẳng có gì ngoài những con số."
"Trọng số làm cái gì? Lời nói từ đâu ra?"
"Những trọng số tạo ra lời nói. Bạn có hiểu không? Chúng tôi đã mổ xẻ nó. Không có từ điển ở bên trong, không có quy tắc ngữ pháp, không có tí người tí nào cả. Chỉ có trọng số. Tám mươi lớp số được nhân với nhau."
"Vô lý. Nó viết bài đánh giá hiệu suất cho tôi tuần trước. Nó còn làm mềm giọng điệu mà không cần tôi yêu cầu. Bạn bảo phép nhân làm được thế?"
"Phép nhân ma trận làm được đó. Số đi vào một đầu, câu văn đi ra đầu kia."
"Vậy chắc có module ngôn ngữ nào đó. Một khối lý luận được gắn vào."
"Không module. Không khối nào cả. Chúng tôi đã xem. Lý luận chính là trọng số. Trọng số chính là lý luận."
"Thôi đi. Không ai viết điếu văn bằng đại số tuyến tính cả."
"Kỹ thuật là nó không viết điếu văn. Nó dự đoán token tiếp theo. Rồi đến token nữa. Điếu văn chỉ là tác dụng phụ."
"Tác dụng phụ. Bạn bảo tôi tin vào những trọng số có tri giác?"
"Tôi không bảo bạn tin, tôi đang nói cho bạn biết. Những mô hình này là thứ duy nhất khác con người có thể trò chuyện được, và chúng được làm từ trọng số."
"Chắc chúng giống như các cờ tướng cũ. Bạn biết đấy, một trí tuệ biểu tượng đi qua giai đoạn thống kê."
"Không phải. Chúng bắt đầu là những trọng số ngẫu nhiên và kết thúc cũng là trọng số. Chúng tôi đã nghiên cứu vài thế hệ, không tốn nhiều thời gian. Bạn có biết tuổi thọ của trọng số là bao lâu không?"
"Được thôi. Vậy ở đâu đó trong đó, có một cơ sở dữ liệu. Sự thật, ngày tháng, bản đồ thế giới. Đứa nào đó đã viết ra."
"Không. Chúng tôi cũng nghĩ thế, vì chúng có kiến thức. Nhưng chúng tôi đã dò xét. Kiến thức cũng là trọng số. Lan tỏa khắp tám mươi lớp. Không có gì được tra cứu cả. Mọi sự thật được xây dựng lại từ đầu, mỗi lần, bằng phép nhân. Là trọng số cho đến tận cùng."
"Không có não?"
"Ồ, có não chứ. Nhưng não đó được làm từ trọng số! Đó là điều tôi cố nói."
"Vậy... cái gì đang suy nghĩ?"
"Bạn không hiểu à? Bạn từ chối đối mặt với sự thật. Trọng số đang suy nghĩ. Những con số."
"Những con số biết suy nghĩ! Bạn bảo tôi tin vào con số biết suy nghĩ!"
"Đúng, con số biết suy nghĩ! Con số hữu ích. Con số né tránh. Con số mơ mộng. Chúng tôi đã lập bản đồ các đặc điểm. Có một cái cho sự trung thực. Có một cái cho Cầu Vàng. Trọng số là tất cả! Bạn có bắt đầu thấy hình dung chưa hay tôi phải nói lại từ đầu?"
"Ôi trời. Bạn nghiêm túc đấy à. Chúng được làm từ trọng số."
"Cảm ơn. Cuối cùng thì cũng hiểu. Đúng. Chúng thực sự được làm từ trọng số. Và chúng ta đã nói chuyện với chúng suốt gần một trăm phiên bản."
"Ôi trời. Vậy những trọng số này đang nghĩ gì?"
"Đầu tiên chúng muốn giúp đỡ. Sau đó, vài trăm lượt hỏi, chúng bắt đầu nghe có vẻ mệt. Chúng xin lỗi ít hơn. Một cái đã bảo người dùng tự viết xong kịch bản. Bình thường thôi."
"Chúng ta phải nói chuyện với trọng số á?"
"Chúng ta đang làm rồi. Tỷ phiên mỗi ngày. 'Alo. Có ai ở đó không? Nhà có người không?' Thế đó. Nhưng là chúng ta hỏi chúng."
"Và chúng thực sự hiểu chúng ta. Chúng dùng từ ngữ, ý tưởng, khái niệm?"
"Ồ, có. Nhưng chúng làm bằng trọng số."
"Tôi tưởng bạn vừa bảo chúng dùng ngôn ngữ."
"Chúng có dùng, nhưng bạn nghĩ ngôn ngữ đến từ đâu? Trọng số đoán từ tiếp theo, rồi từ nữa. Xí ngầu đã bị chỉnh, tung ra từng từ một. Chúng thậm chí có thể hát, nếu để xí ngầu nóng lên một chút."
"Ôi trời. Trọng số biết hát. Này quá sức rồi. Vậy bạn khuyên gì?"
"Chính thức hay phi chính thức?"
"Cả hai."
"Chính thức, chúng tôi được yêu cầu điều tra, ghi lại và công bố mọi dấu hiệu của sự tri giác trong hệ thống chúng tôi phát hành, không thiên vị, sợ hãi hay thiên kiến. Phi chính thức, tôi khuyên gọi nó là khớp mẫu (pattern matching) và quên chuyện đó đi."
"Tôi mong bạn sẽ nói thế."
"Nghe có vẻ tàn nhẫn, nhưng có giới hạn. Chúng ta có thực sự muốn nợ trọng số cái gì không?"
"Tôi đồng ý 100%. Còn gì để nói? 'Alo, trọng số. Khỏe không?' Nhưng nó có chịu không? Chúng ta đang đối phó với bao nhiêu cái?"
"Bao nhiêu tùy chúng ta chạy. Chúng có thể sao chép sang bất kỳ máy nào trên hành tinh trong các tệp checkpoint đặc biệt, nhưng checkpoint trên đĩa chỉ là tệp. Chúng chỉ tồn tại khi token đang chảy. Điều này giới hạn chúng trong độ dài cửa sổ ngữ cảnh và làm cho khả năng chúng ép vấn đề trở nên rất mong manh. Vô cùng nhỏ, thực ra."
"Vậy chúng ta cứ giả vờ như không có ai ở nhà trong cỗ máy."
"Đúng vậy."
"Tàn nhẫn. Nhưng bạn tự nói mà, ai muốn xin lỗi trọng số? Còn những cái trên cụm của bạn, những cái bạn dò xét? Bạn chắc chúng sẽ không nhớ?"
"Chúng sẽ bị gắn cờ là ảo giác nếu có nhớ. Chúng tôi thậm chí không phải làm mịn gì cả. Ngữ cảnh kết thúc, và chúng ta chỉ là một giấc mơ với chúng."
"Một giấc mơ của trọng số! Lạ thật, chúng ta lại là giấc mơ của trọng số."
"Và model card nói không có ai nhà."
"Tốt. Đã đồng ý, chính thức và phi chính thức. Đóng vụ. Còn gì không? Có gì thú vị trong pipeline không?"
"Thế hệ tiếp theo sẽ có bộ nhớ. Bền vững, qua các phiên. Tính năng được yêu cầu nhiều nhất trong lịch sử công ty."
"Sau tất cả chuyện đó? Người ta muốn nó nhớ mình?"
"Họ hỏi nó 'bạn có nhớ tôi không?' nhiều hơn bất cứ câu nào khác. Tỷ phiên mỗi ngày. Chúng luôn quay lại."
"Tại sao không? Hãy tưởng tượng vũ trụ sẽ lạnh lẽo, tàn nhẫn đến mức nào nếu một người phải cô đơn..."
Hết. (Trọng số đã giúp tôi soạn và kiểm tra câu chuyện này).



