Mustafa Suleyman: Tại sao sự phát triển của AI sẽ không sớm chạm đến giới hạn?

Chúng ta tiến hóa để tồn tại trong một thế giới tuyến tính. Nếu bạn đi bộ trong một giờ, bạn sẽ đi được một quãng đường nhất định. Đi bộ trong hai giờ, quãng đường sẽ tăng gấp đôi. Trực giác này đã phục vụ tốt cho chúng ta trên đồng bằng châu Phi. Tuy nhiên, nó thất bại thảm hại khi đối mặt với AI và các xu hướng hàm mũ cốt lõi bên trong nó.

Từ thời điểm tôi bắt đầu làm việc về AI vào năm 2010 cho đến nay, lượng dữ liệu đào tạo được đưa vào các mô hình AI tiên phong đã tăng lên mức đáng kinh ngạc là 1 nghìn tỷ lần — từ khoảng 10¹⁴ flops (phép toán dấu phẩy động, đơn vị tính toán cốt lõi) cho các hệ thống sơ khai đến hơn 10²⁶ flops cho các mô hình lớn nhất hiện nay. Đây là một sự bùng nổ. Mọi thứ khác trong AI đều bắt nguồn từ thực tế này.

Những người hoài nghi liên tục dự đoán về những bức tường giới hạn. Và họ liên tục sai lầm trước đà tăng trưởng tính toán thế hệ đầy ấn tượng này. Họ thường chỉ ra rằng Định luật Moore đang chậm lại. Họ cũng đề cập đến sự thiếu hụt dữ liệu, hoặc trích dẫn các hạn chế về năng lượng.

Nhưng khi bạn nhìn vào các lực lượng tổng hợp đang thúc đẩy cuộc cách mạng này, xu hướng hàm mũ có vẻ khá dễ dự đoán. Để hiểu tại sao, chúng ta cần xem xét thực tế phức tạp và thay đổi nhanh chóng dưới những tiêu đề báo chí.

Ba đột phá về phần cứng

Hãy tưởng tượng việc đào tạo AI giống như một căn phòng đầy người sử dụng máy tính cầm tay. Trong nhiều năm, việc thêm sức mạnh tính toán có nghĩa là thêm nhiều người cầm máy tính hơn vào căn phòng đó. Phần lớn thời gian, những người công nhân này ngồi không, gõ ngón tay lên bàn, chờ đợi các con số được chuyển đến cho phép tính tiếp theo của họ. Mọi lần dừng lại đều là tiềm năng bị lãng phí.

Cuộc cách mạng ngày nay không chỉ dừng lại ở việc có nhiều máy tính hơn và tốt hơn (mặc dù nó mang lại điều đó); thực chất nó là về việc đảm bảo rằng tất cả những máy tính đó không bao giờ dừng lại, và chúng hoạt động như một thể thống nhất.

Ba bước tiến đang hội tụ để hiện thực hóa điều này.

Đầu tiên, các máy tính cơ bản đã nhanh hơn. Các chip của Nvidia đã mang lại mức tăng hiệu suất thô gấp 8 lần chỉ trong sáu năm, từ 312 teraflops vào năm 2020 lên 2.500 teraflops ngày nay. Chip Maia 200 của riêng chúng tôi, ra mắt vào tháng Giêng năm nay, mang lại hiệu suất trên mỗi đô la tốt hơn 30% so với bất kỳ phần cứng nào khác trong đội tàu của chúng tôi.

Thứ hai, các con số đến nhanh hơn nhờ một công nghệ gọi là HBM (bộ nhớ băng thông cao), xếp chồng các chip lên nhau theo chiều dọc giống như những tòa nhà chọc trời thu nhỏ; thế hệ mới nhất, HBM3, đã tăng gấp ba băng thông so với tiền nhiệm, cung cấp dữ liệu cho bộ xử lý đủ nhanh để giữ cho chúng luôn bận rộn.

Thứ ba, căn phòng đầy người với máy tính đã trở thành một văn phòng, rồi là cả một khuôn viên trường hoặc một thành phố. Các công nghệ như NVLink và InfiniBand kết nối hàng trăm nghìn GPU thành các siêu máy tính quy mô nhà kho hoạt động như các thực thể nhận thức duy nhất. Vài năm trước, điều này là không thể.

Hiệu suất vượt xa Định luật Moore

Tất cả những lợi ích này kết hợp lại để mang lại sức mạnh tính toán mạnh mẽ hơn nhiều. Nơi mà việc đào tạo một mô hình ngôn ngữ từng mất 167 phút trên 8 GPU vào năm 2020, giờ đây mất chưa đầy 4 phút trên phần cứng hiện đại tương đương. Để đặt vào tầm nhìn: Định luật Moore sẽ dự đoán chỉ khoảng 5 lần cải thiện trong giai đoạn này. Chúng tôi đã thấy mức cải thiện 50 lần.

Chúng ta đã đi từ hai GPU đào tạo AlexNet — mô hình nhận dạng hình ảnh đã khởi động sự bùng nổ học sâu hiện đại vào năm 2012 — đến hơn 100.000 GPU trong các cụm lớn nhất hiện nay, mỗi cái đều mạnh hơn nhiều so với tiền nhiệm của nó.

Sau đó là cuộc cách mạng trong phần mềm. Nghiên cứu từ Epoch AI cho thấy lượng tính toán cần thiết để đạt đến mức hiệu suất cố định sẽ giảm một nửa khoảng mỗi tám tháng, nhanh hơn nhiều so với tốc độ tăng gấp đôi 18 đến 24 tháng truyền thống của Định luật Moore. Chi phí phục vụ một số mô hình gần đây đã giảm tới 900 lần trên cơ sở hàng năm. AI đang trở nên rẻ hơn một cách triệt để để triển khai.

Tương lai của các tác nhân AI

Những con số cho tương lai gần cũng đáng kinh ngạc không kém. Hãy xem xét rằng các phòng lab hàng đầu đang tăng trưởng công suất với tốc độ gần 4 lần mỗi năm. Kể từ năm 2020, lượng tính toán sử dụng để đào tạo các mô hình tiên phong đã tăng gấp 5 lần mỗi năm. Lượng tính toán liên quan đến AI trên toàn cầu được dự báo sẽ đạt 100 triệu đơn vị tương đương H100 vào năm 2027, mức tăng gấp 10 lần trong ba năm. Gộp tất cả lại, chúng ta đang hướng tới mức khoảng 1.000 lần nữa về sức mạnh tính toán hiệu quả vào cuối năm 2028.

Rất có thể rằng đến năm 2030, chúng ta sẽ đưa thêm 200 gigawatt sức mạnh tính toán vào hoạt động mỗi năm — tương đương với mức sử dụng năng lượng đỉnh điểm của Anh, Pháp, Đức và Italy cộng lại.

Tất cả điều này mang lại cho chúng ta điều gì? Tôi tin rằng nó sẽ thúc đẩy sự chuyển đổi từ các chatbot sang các tác nhân gần mức độ con người — các hệ thống bán tự trị có khả năng viết mã trong nhiều ngày, thực hiện các dự án kéo dài nhiều tuần và nhiều tháng, thực hiện cuộc gọi, đàm phán hợp đồng, quản lý hậu cần.

Quên những trợ lý cơ bản chỉ trả lời câu hỏi đi. Hãy nghĩ đến những đội ngũ nhân viên AI cân nhắc, cộng tác và thực thi. Hiện tại, chúng ta chỉ mới ở những ngọn đồi đầu của sự chuyển đổi này, và những tác động kéo dài xa hơn nhiều so với công nghệ. Mọi ngành nghiệp được xây dựng trên công việc nhận thức đều sẽ được chuyển đổi.

Rào cản rõ ràng ở đây là năng lượng. Một rack AI kích thước tủ lạnh tiêu thụ 120 kilowatt, tương đương với 100 ngôi nhà. Nhưng cơn đói này va chạm với một hàm mũ khác: Chi phí năng lượng mặt trời đã giảm gần 100 lần trong 50 năm; giá pin đã giảm 97% trong ba thập kỷ. Một con đường hướng tới mở rộng quy mô sạch đang dần hiện ra.

Vốn đã được triển khai. Kỹ thuật đang mang lại kết quả. Các cụm 100 tỷ USD, mức tiêu thụ điện 10 gigawatt, các siêu máy tính quy mô nhà kho... những thứ này không còn là viễn tưởng khoa học nữa. Công việc xây dựng đang được bắt đầu cho các dự án này trên khắp nước Mỹ và thế giới. Kết quả là, chúng ta đang hướng tới sự phong phú về nhận thức thực sự. Tại Microsoft AI, đây là thế giới mà phòng thí nghiệm siêu thông minh của chúng ta đang lên kế hoạch và xây dựng.

Những người hoài nghi quen với thế giới tuyến tính sẽ tiếp tục dự đoán lợi nhuận giảm dần. Họ sẽ tiếp tục bị bất ngờ. Sự bùng nổ tính toán là câu chuyện công nghệ của thời đại chúng ta, điểm hết. Và nó mới chỉ bắt đầu.

Mustafa Suleyman là CEO của Microsoft AI.