Ảo giác của công việc tri thức: Khi AI làm hỏng các thước đo chất lượng

Ảo giác của công việc tri thức: Khi AI làm hỏng các thước đo chất lượng

Bạn nhận được một báo cáo phân tích thị trường cho sản phẩm mới mình định ra mắt. Khi đọc qua, bạn nhận ra những vấn đề: ngày tháng trên báo cáo không khớp với ngày bạn yêu cầu, nó từ 6 tháng trước. Một số đoạn có lỗi chính tả rõ ràng. Một số biểu đồ bị dán nhãn sai và bị trùng lặp.

Báo cáo đó bị loại bỏ. Sự tồn tại của các lỗi chính tả và lỗi copy-paste, vốn có thể không thay đổi kết luận chính của báo cáo, là đủ để loại bỏ nó. Một người không đủ quan tâm để làm cho báo cáo trông chỉn chu ở mức bề mặt thì cũng sẽ không đủ quan tâm để tạo ra một nghiên cứu tốt.

Bạn đã đánh giá chất lượng bằng một thước đo đại diện: chất lượng bề mặt của chính văn bản đó. Đó không phải là điều bạn thực sự quan tâm — điều bạn quan tâm là liệu báo cáo có phản ánh thực tế và chỉ dẫn cho bạn đưa ra quyết định tốt hay không. Nhưng việc kiểm tra điều đó rất tốn kém. Chất lượng bề mặt thì rẻ, và nó tương quan tốt với thứ mà bạn không thể dễ dàng đo lường.

Toàn bộ công việc tri thức đều gặp vấn đề này. Rất khó để đánh giá khách quan chất lượng công việc của ai đó mà không tốn nhiều công sức. Do đó, mọi người đều dựa nhiều vào các thước đo đại diện.

Các thước đo đại diện đã giữ cho các động lực sai lệch trong tầm kiểm soát. Nhưng các mô hình ngôn ngữ lớn (LLM) đã phá vỡ chúng.

Sự trỗi dậy của bản sao giả lập

Các mô hình ngôn ngữ lớn rất giỏi trong việc mô phỏng phong cách viết mà không nhất thiết phải tái tạo chất lượng của công việc. Bạn có thể yêu cầu ChatGPT viết một báo cáo phân tích thị trường và nó sẽ trông và đọc giống như một sản phẩm được giao từ một công ty tư vấn hàng đầu do các Chuyên gia Nghiêm túc viết.

Một kỹ sư phần mềm có thể viết hàng nghìn dòng code trông giống như code chất lượng cao, ít nhất là nếu bạn chỉ có vài giây để lướt qua. Đồng nghiệp của họ sẽ yêu cầu AI thực hiện xem xét mã nguồn (code review), quá trình xem xét sẽ phát hiện ra nhiều vấn đề và tiềm ẩn lỗi, và những vấn đề này sẽ được giải quyết. Nghi thức làm việc vẫn được duy trì nhưng không có chất lượng cốt lõi nào cả.

Chúng ta đã xây dựng nên một bản sao giả lập của công việc tri thức.

Động lực sai lệch và vấn đề của đào tạo AI

Các động lực khuyến khích gần như đảm bảo rằng chúng ta đang gặp rắc rối lớn. Nhiều người lao động, một cách khá hợp lý, muốn làm tốt trên bất kỳ phương diện nào họ đang được đo lường. Nếu họ được đánh giá bởi chất lượng bề mặt của công việc, thì không có gì ngạc nhiên khi phần lớn đầu ra "của họ" sẽ được viết bởi LLM.

Các LLM cũng gặp vấn đề tương tự.

Quá trình đào tạo không đánh giá "câu trả lời có đúng không" hay "câu trả lời có hữu ích không". Nó là "câu trả lời có khả năng xuất hiện trong kho dữ liệu đào tạo không" hay "người đánh giá RLHF (Học tăng cường với phản hồi của con người) có hài lòng với câu trả lời không". Chúng ta đang tối ưu hóa LLM để tạo ra đầu ra trông giống như đầu ra chất lượng cao. Và chúng ta có những bộ tối ưu hóa rất tốt.

Kết luận: Tự động hóa theo luật Goodhart

Vì vậy, chúng ta đang ở đây. Chúng ta đã chi hàng tỷ đô la để tạo ra các hệ thống được sử dụng để thực hiện một bản sao giả lập của công việc. Các công ty đang đua nhau để đứng đầu bảng xếp hạng số token đã chi. Càng nhiều đầu ra LLM mà nhân viên tạo ra, càng ít thời gian bất kỳ ai dành để nhìn sâu vào đầu ra đó. Tất cả thời gian chúng ta có chỉ đủ để lướt qua, dán nhãn "LGTM" (Looks Good To Me - Trông ổn đấy) lên đó và mở phiên làm việc Claude Code thứ 17 của họ.

Chúng ta đã tự động hóa chính mình vào luật Goodhart.