Nghiên cứu của Stanford: AI được đánh giá cao hơn giáo sư luật trong việc hỗ trợ sinh viên

Một nghiên cứu đột phá do Giáo sư Julian Nyarko của Trường Luật Stanford dẫn đầu đã hé lộ một kết quả đáng kinh ngạc: các giáo sư luật ưu tiên các câu trả lời do AI tạo ra cho câu hỏi của sinh viên hơn cả những câu trả lời được viết bởi chính đồng nghiệp của họ. Phát hiện này có thể làm thay đổi hoàn toàn cách thức giáo dục pháp luật được thực hiện trong tương lai.

Nghiên cứu, có tiêu đề "Giáo sư Luật Ưu tiên Câu trả lời của AI Hơn Đồng nghiệp", được thực hiện với sự tham gia của 16 giáo sư luật tại các trường luật ở Mỹ. Mục tiêu là kiểm tra xem các mô hình ngôn ngữ lớn (LLM) có thể đóng vai trò là những gia sư hiệu quả cho các khóa học luật hợp đồng hay không. Trong một cuộc đánh giá mù gần 3.000 so sánh ẩn danh, các giáo sư đã chấm điểm câu trả lời của AI cao hơn đáng kể so với câu trả lời của con người, với AI chiến thắng trong 75% các cuộc đối đầu trực tiếp.

Nghiên cứu về AI và giáo dục luật pháp

Thách thức các giả định về AI

"Nghiên cứu này thách thức các giả định quan trọng về vai trò của AI trong giáo dục pháp luật," ông Nyarko, người đứng đầu Phòng thí nghiệm Đổi mới Pháp lý thông qua Công nghệ Tiên phong (LIFTlab) của Trường Luật Stanford, cho biết. Ông đã đồng tác giả bài báo này với các đồng nghiệp từ Yale, NYU, Đại học Chicago và các tổ chức hàng đầu khác.

Ông Nyarko nhấn mạnh lý do họ chọn lĩnh vực luật: "Chúng tôi tập trung vào luật chính vì nó đòi hỏi sự phán xét, lập lý tinh tế và khả năng điều hướng những sự mơ hồ — không chỉ là việc ghi nhớ sự thật."

AI có thể tư duy được không?

Điểm đáng chú ý nhất của nghiên cứu này là các đánh giá AI trước đây thường tập trung vào các môn học có câu trả lời đúng hoặc sai rõ ràng. Ngược lại, lập luận pháp luật đòi hỏi sự phân tích kỹ lưỡng các lập luận đối lập và đưa ra kết luận có thể bảo vệ được.

Giáo sư và sinh viên trong thời đại AI

"Thú thực, chúng tôi khá ngạc nhiên trước quy mô của kết quả," ông Nyarko thừa nhận. "Đây không phải là những câu hỏi đơn giản với câu trả lời hiển nhiên. Nhiều câu hỏi đòi hỏi việc tổng hợp tài liệu phức tạp, áp dụng vào các tình huống mới và giải thích các khái niệm pháp luật theo cách giúp sinh viên phát triển kỹ năng phân tích của riêng họ."

Các tham gia viên đã tạo ra 40 câu hỏi đại diện về luật hợp đồng mà sinh viên có thể hỏi sau giờ học hoặc trong giờ làm việc, viết câu trả lời của riêng họ, và sau đó đánh giá các phản hồi mà không biết chúng đến từ AI hay các giáo sư khác. Các hệ thống AI đã hoạt động tương đương với giảng viên con người xuất sắc nhất trong nghiên cứu.

Có lẽ điều đáng chú ý nhất là: các giáo sư chỉ đánh dấu câu trả lời của AI là có hại về mặt sư phạm ở mức 3,5%, so với 12% đối với câu trả lời do đồng nghiệp viết.

Tiêu chuẩn nghề nghiệp ẩn

"Trong hầu hết các lĩnh vực AI được kiểm tra, luôn có một câu trả lời đúng. Nhưng trong luật pháp, thường thì không," Giáo sư Sarath Sanga, đồng tác giả và giáo sư tại Trường Luật Yale, nhận định. "Hai lập luận đối lập đều có thể tốt. Điều chúng tôi muốn biết là liệu AI có thể đáp ứng tiêu chuẩn nghề nghiệp ẩn mà luật sư sử dụng để đánh giá lập luận của nhau hay không. Trong trường hợp này, câu trả lời là có."

Nhóm nghiên cứu đã thực hiện nhiều biện pháp phòng ngừa kỹ lưỡng để đảm bảo tính hiệu quả của nghiên cứu. Họ hiệu chỉnh câu trả lời của AI để phù hợp với độ dài và cấu trúc của câu trả lời con người, sử dụng nhiều phương pháp đánh giá khác nhau và yêu cầu các giáo sư đánh giá xem phản hồi có thể gây hiểu lầm hoặc làm nhầm sinh viên hay không.

Chuyển đổi giáo dục pháp luật

"Chúng tôi thiết kế nghiên cứu này càng nghiêm ngặt càng tốt vì các rủi ro rất cao," ông Nyarko giải thích. "Giáo dục pháp luật là về việc đào tạo các luật sư tương lai tư duy phản biện, tranh luận thuyết phục và điều hướng các phức tạp về đạo đức. Nghiên cứu của chúng tôi tạo ra những bước tiến quan trọng trong việc tìm hiểu xem liệu AI có thể hỗ trợ sứ mệnh đó hay không."

Alejandro Salinas, tác giả chính của nghiên cứu và là nhà nghiên cứu tại LIFTlab của ông Nyarko, nhấn mạnh các tác động giáo dục: "Nghiên cứu của chúng tôi chuyển sự chú ý vào những gì gia sư AI có thể đóng góp cho việc học trong các lĩnh vực giàu tính phán xét như luật pháp. Chúng tôi nhận thấy rằng, khi được các nhà giáo dục pháp luật đánh giá, gia sư AI có thể cung cấp sự hỗ trợ chất lượng cao, theo yêu cầu, bổ sung cho giảng dạy trong lớp học và có thể mở rộng quyền truy cập vào sự hướng dẫn của chuyên gia."

Nghiên cứu cũng xem xét các mô hình AI cụ thể, bao gồm cả các hệ thống gia sư thương mại và NotebookLM của Google, tìm thấy các mức hiệu suất khác nhau. Tuy nhiên, ngay cả khi các hạn chế về bối cảnh ảnh hưởng đến câu trả lời của AI, các giáo sư vẫn thường xuyên ưu tiên chúng hơn các lựa chọn do con người viết.

Triển khai có trách nhiệm

Những phát hiện này được đưa ra trong bối cảnh các trường luật trên toàn quốc đang vật lộn với việc tích hợp các công cụ AI vào giáo dục pháp luật trong khi vẫn duy trì các tiêu chuẩn học thuật nghiêm ngặt. Một số tổ chức đã đón nhận sự thử nghiệm AI, trong khi những người khác vẫn thận trọng về các rủi ro tiềm ẩn bao gồm cả ảo giác (hallucinations), sự phụ thuộc quá mức và sự xói mòn kỹ năng tư duy phản biện.

"Nghiên cứu của chúng tôi đánh giá chất lượng câu trả lời do các công cụ AI đưa ra. Nhưng cách triển khai các công cụ này để cải thiện hiệu quả nhất việc học của sinh viên vẫn là một câu hỏi mở. Vì vậy, chúng tôi không ủng hộ việc áp dụng wholesale gia sư AI," ông Nyarko cảnh báo. "Nhưng dữ liệu của chúng tôi cho thấy sự hoài nghi phổ quát cũng có thể là không đáng có. Cuộc trò chuyện nên chuyển từ việc liệu AI có thể đưa ra câu trả lời chính xác, chất lượng cao hay không sang cách chúng ta có thể triển khai nó một cách có trách nhiệm vì lợi ích của sinh viên."

Nghiên cứu này là một bước tiến quan trọng trong việc hiểu rõ tiềm năng của AI không chỉ trong công nghệ, mà còn trong các lĩnh vực trí tuệ và nhân văn phức tạp nhất.