METR: AI giúp Anthropic tăng tốc nghiên cứu gấp đôi

AI đang giúp Anthropic phát triển các mô hình mạnh hơn với tốc độ ngày càng nhanh. Theo báo cáo của tổ chức nghiên cứu an toàn AI METR, các mô hình của công ty tiến bộ nhanh gấp đôi so với một năm trước; phần lớn mức tăng tốc gần đây được cho là đến từ việc ứng dụng AI vào công việc nghiên cứu.

Kết quả đặt ra câu hỏi liệu công nghệ có thể sớm tiến tới giai đoạn các hệ thống AI tự cải tiến mà ít cần con người hay không. Tuy nhiên, Anthropic đã lược bỏ phần lớn bằng chứng trong bản báo cáo công khai, khiến giới nghiên cứu khó kiểm chứng đầy đủ các kết luận.

CEO Anthropic Dario Amodei

AI góp phần lớn vào tốc độ tiến bộ

Báo cáo được công bố hôm thứ Năm, sau cuộc khảo sát kéo dài 11 tuần bên trong Anthropic. METR cho biết điểm chuẩn cho thấy công ty đạt mức tiến bộ tương đương khoảng hai năm phát triển trong vòng một năm.

Các nhà nghiên cứu tự tin rằng tốc độ tăng này không đơn thuần bắt nguồn từ việc mở rộng năng lực tính toán dùng để huấn luyện mô hình. Theo đánh giá của METR, tính đến tháng 10, AI là nguyên nhân của phần lớn mức tăng tốc, và vai trò đó ngày càng lớn.

Kết quả khảo sát nội bộ cũng cho thấy nhân viên nhận thấy năng suất tăng đáng kể. Trong các cuộc thăm dò không chính thức trên Slack và những cuộc phỏng vấn, nhân viên cho biết họ tự đánh giá năng suất trung bình cao gấp khoảng 12 lần khi dùng mô hình nội bộ mạnh nhất so với khi không có AI hỗ trợ. Mức này gần gấp đôi kết quả nhân viên báo cáo vài tháng trước đó khi sử dụng Mythos 5.

Kết quả nhân viên Anthropic tự đánh giá mức tăng năng suất nhờ AI

Hiện phần lớn tiến triển dường như vẫn đến từ AI hỗ trợ các nhà nghiên cứu, thay vì tự làm việc độc lập. Dù vậy, METR ghi nhận một số dấu hiệu cho thấy đóng góp hoàn toàn tự động có thể sớm tăng lên. Nhóm nghiên cứu cũng chưa thấy bằng chứng rõ ràng về hiệu suất giảm dần hay nút thắt có thể ngăn tốc độ tăng nhanh hơn.

Ba mô hình nội bộ chưa được công bố

Một phần năng suất và tốc độ tiến bộ được nêu trong báo cáo đến từ các mô hình Anthropic chưa phát hành. Trong sáu tháng trước thời điểm báo cáo, công ty đã hoàn tất huấn luyện ba mô hình nội bộ, mang tên mã Model 2, Model 3 và Model 4.

Theo METR, Model 2 hoàn tất huấn luyện vào tháng 7; Model 3 vào tháng 8–9; còn Model 4 vào tháng 9–10. Báo cáo cũng xác định một mô hình chưa phát hành có từ năm 2022, mang tên Unreleased 2022. METR lưu ý đây là các tên mã được chia sẻ với nhóm nghiên cứu và có thể khác với tên dùng nội bộ tại Anthropic.

Bất đồng về mức độ công khai

Anthropic cung cấp cho METR một số thông tin không công khai, gồm tài liệu nghiên cứu mật, dữ liệu hiệu năng mô hình và các cuộc phỏng vấn nhân viên. Tuy nhiên, nhóm đánh giá không được tiếp cận không hạn chế, cũng không có mức tiếp cận tương tự chương trình riêng dành cho các nhà nghiên cứu an toàn.

METR cho biết đã gửi cho Anthropic bản đánh giá đầy đủ dài khoảng 100 trang, nhưng công ty lược bỏ phần lớn bằng chứng mà nhóm cho là hữu ích nhất trước khi công bố. METR cũng nói một số yêu cầu dữ liệu bị từ chối và kênh thu thập thông tin khá hạn chế. Theo nhóm nghiên cứu, việc lược bỏ khiến công chúng phải dựa nhiều hơn vào phán đoán của METR, thay vì tự đánh giá bằng chứng và những điểm chưa chắc chắn.

Đồng sáng lập Anthropic Sam McCandlish thừa nhận việc lược bỏ làm công chúng khó kiểm tra công việc của METR hơn. Ông nói công ty quyết định không công khai chi tiết về những yếu tố thúc đẩy tốc độ tăng, vì thông tin có thể nhạy cảm về thương mại và có thể trở thành lộ trình giúp đối thủ phát triển nhanh hơn. Anthropic dự định công bố báo cáo riêng về tốc độ tiến bộ của AI và các biện pháp tăng cường an toàn trong những tuần tiếp theo.

Lo ngại AI có thể thúc đẩy chính nó

Báo cáo làm nóng thêm tranh luận về khoảng cách giữa những lời kêu gọi phát triển AI có trách nhiệm của Anthropic và tốc độ nghiên cứu bên trong công ty. Một số nhà nghiên cứu cho rằng kết quả cho thấy việc AI thúc đẩy quá trình phát triển AI có thể diễn ra nhanh hơn dự đoán.

Marius Hobbhahn, giám đốc điều hành kiêm nhà sáng lập tổ chức nghiên cứu an toàn AI Apollo Research, nhận định tốc độ được mô tả trong báo cáo còn nhanh hơn kịch bản AI 2027. Alan Chan, nghiên cứu viên cấp cao tại trung tâm nghiên cứu chính sách công nghệ GovAI, cho rằng các kết quả có thể khiến những người hoài nghi xem xét lại quan điểm về việc AI tăng tốc phát triển AI, cũng như thời điểm các hệ thống có thể tự động hóa hoàn toàn những công việc như kỹ thuật phần mềm.

Một số ý kiến tập trung vào khả năng tự cải tiến đệ quy: hệ thống AI tự phát triển những hệ thống kế nhiệm ngày càng mạnh mà không cần con người can thiệp, qua đó có thể đẩy nhanh tiến độ phát triển. METR không kết luận rằng giai đoạn này đã bắt đầu, nhưng báo cáo khiến một số nhà nghiên cứu lo ngại khả năng đó có thể đến gần hơn dự kiến.

Báo cáo cũng khơi lại lời kêu gọi tăng giám sát độc lập. Brianna Rosen, giám đốc nghiên cứu an ninh AI tiên tiến tại Viện Chính sách và Chiến lược AI, cho rằng các đơn vị đánh giá độc lập cần được tự do giải thích kết luận, chính phủ cần tự xem xét bằng chứng và công chúng cần tin tưởng quy trình. METR từng dự định đánh giá tỷ lệ năng lực tính toán Anthropic dành cho an toàn so với phát triển năng lực, nhưng phần đánh giá này đã bị hủy; công ty cho biết sẽ xem xét lại sau.

Góc nhìn

Với các nhóm phát triển phần mềm và nghiên cứu AI, báo cáo cho thấy công cụ AI có thể làm thay đổi đáng kể năng suất ngay trong quá trình tạo ra những hệ thống AI tiếp theo. Nhưng mức tăng năng suất do nhân viên tự báo cáo không đồng nghĩa với việc AI đã tự chủ hoàn toàn trong nghiên cứu.

Với doanh nghiệp triển khai AI, điểm đáng chú ý là cần đánh giá song song lợi ích năng suất và khả năng kiểm chứng, giám sát hệ thống. Khi các bằng chứng quan trọng bị giới hạn, việc đánh giá độc lập về mức độ an toàn và tốc độ phát triển sẽ khó khăn hơn.