FLAWED và những lỗ hổng trong nghiên cứu bảo mật của ngành công nghiệp

Vào ngày 17 tháng 9, một bài đăng trên blog của Trail of Bits với tiêu đề "1Password's AI patching benchmark is misleading" (Chuẩn đánh giá vá lỗi bằng AI của 1Password gây hiểu lầm) đã thu hút sự chú ý của cộng đồng nghiên cứu bảo mật. Bài viết này, cùng với bài của Davi Ottenheimer mang tên "Disinformation Pushed by 1Password: Their AI Patching Report is False", đều chỉ trích báo cáo "Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D" (gọi tắt là FLAWED) do Off-by-1 Labs của 1Password công bố.

Câu chuyện tưởng chừng chỉ là một cuộc tranh luận kỹ thuật thông thường, nhưng thực tế lại phơi bày những vấn đề sâu xa hơn về cách các phòng thí nghiệm công nghiệp tiến hành và công bố nghiên cứu bảo mật.

FLAWED là gì và tại sao nó gây tranh cãi?

FLAWED là báo cáo do Off-by-1 Labs, đơn vị nghiên cứu của 1Password, công bố nhằm đánh giá khả năng của các mô hình AI tiên tiến trong việc vá lỗ hổng bảo mật. Báo cáo này nhanh chóng được lan truyền rộng rãi, xuất hiện trên các bản tin công nghệ và thậm chí ảnh hưởng đến lộ trình bảo mật của nhiều tổ chức.

Tuy nhiên, khi các nhà nghiên cứu độc lập xem xét kỹ lưỡng, họ phát hiện ra hàng loạt vấn đề nghiêm trọng.

Minh họa về nghiên cứu bảo mật và AI

Những sai sót không thể bỏ qua

Theo phân tích của tác giả bài viết gốc, FLAWED mắc phải nhiều lỗi ở các mức độ khác nhau:

• Lỗi sơ đẳng về mặt trình bày: Các biểu đồ không chính xác (ví dụ, dấu hoa thị mà Hình 1 tuyên bố có trên các bước liên quan lại không xuất hiện ở đâu cả)
• Lỗi số học: Phép tính 2.8 không hề xấp xỉ bằng 4 như báo cáo trình bày
• Mâu thuẫn nội tại: Các tuyên bố trong bài không nhất quán với nhau, có thể phát hiện chỉ bằng cách đọc lướt

Nhưng vấn đề nghiêm trọng nhất nằm ở khâu trích dẫn nguồn.

Vấn đề trích dẫn: Khi nghiên cứu công nghiệp thiếu tính học thuật

FLAWED chỉ trích dẫn 19 nguồn, trong đó phần lớn là các bài đăng blog của doanh nghiệp và thậm chí có cả XKCD. Điều đáng nói là báo cáo này vẫn tuyên bố rằng có "rất ít công trình trước đó" trong lĩnh vực cụ thể này.

Tuyên bố này hoàn toàn không khớp với thực tế của tài liệu nghiên cứu hiện có.

Để so sánh, bài báo PatchBench được công bố cùng thời điểm có tới 73 trích dẫn, chủ yếu là các bài báo nghiên cứu học thuật. Đáng chú ý, AutoPatchBench của Meta — một công trình trước đó rõ ràng từ các nhà nghiên cứu nổi tiếng — hoàn toàn không được FLAWED đề cập đến.

Thậm chí, FLAWED còn không trích dẫn và không đọc bài báo tại hội nghị NDSS về những cạm bẫy trong nghiên cứu bảo mật LLM — một tài liệu mà lẽ ra sẽ rất hữu ích cho công trình này, bởi vì FLAWED chính là ví dụ điển hình cho những cạm bẫy được mô tả trong đó.

Sự lan truyền của nghiên cứu thiếu kiểm chứng

Vấn đề về Patch the Planet

Bên cạnh các lỗi trích dẫn, FLAWED còn mắc lỗi về mặt thực tế liên quan đến chiến dịch Patch the Planet. Theo OpenAI, cả Calif và HackerOne đều tham gia vào "phân loại lỗ hổng, công bố phối hợp và các nỗ lực phát hiện lỗ hổng chuyên sâu bổ sung". Tuy nhiên, báo cáo chỉ đề cập đến các kỹ sư của Trail of Bits.

Tác giả bài viết gốc, người từng làm việc tại Trail of Bits, thừa nhận rằng việc trích dẫn đồng nghiệp cũ là điều dễ hiểu. Nhưng ông nhấn mạnh:

Tuyên bố này vẫn không chính xác, và sự thiếu chính xác đó là không phù hợp đối với một bài báo nghiên cứu.

Nghiên cứu không phải là thể thao

Một trong những điểm quan trọng nhất mà tác giả nhấn mạnh là thái độ đối với nghiên cứu. Nhiều người bảo vệ FLAWED vì cho rằng nó chỉ trích OpenAI. Nhưng theo tác giả:

Nếu bạn cho rằng những vấn đề này không nên được nêu ra vì FLAWED chỉ trích OpenAI, xin hãy hiểu rằng nghiên cứu không phải là thể thao. OpenAI không phải là Spurs, 1Password không phải là Knicks, và Off-by-1 Labs không phải là Jalen Brunson. Mọi nghiên cứu đều cần phải đối mặt với sự hoài nghi lành mạnh.

Đánh giá nghiêm túc các tuyên bố của phòng thí nghiệm tiên tiến là điều hoàn toàn có thể và cần thiết. EleutherAI thường xuyên công bố các công trình chính xác trong lĩnh vực này. AI Now Institute cũng đã có một bài viết phê bình Patch the Planet (dù không phải bài báo nghiên cứu, nó vẫn có nhiều trích dẫn hơn FLAWED).

Rủi ro khi nghiên cứu biến thành chiến dịch gây ảnh hưởng

FLAWED xác nhận một định kiến sẵn có của nhiều người, điều này có thể giải thích phần nào mức độ lan truyền của nó. Nhưng tác giả cảnh báo:

Chúng ta không thể tin tưởng và khuếch đại nghiên cứu chỉ vì nó khớp với định kiến của mình. Mục đích của tính chặt chẽ là bảo vệ chúng ta khỏi những kết luận mà ta muốn chấp nhận nhưng lại không đúng sự thật.

Kịch bản xấu nhất nếu chúng ta không thực thi chuẩn mực này là gì? Nó mở đường cho các tác nhân xấu liên tục chọn những kết luận tôn vinh lợi ích của tổ chức hoặc cá nhân họ, áp dụng phương pháp yếu kém, và sử dụng sự phân phối của doanh nghiệp cùng kỹ thuật gây ảnh hưởng xã hội để khiến những kết luận đó có sức ảnh hưởng không tương xứng.

Bài báo không phải là bài đăng blog

Một điểm quan trọng khác là sự khác biệt về thể loại. Một bài đăng blog có thể trình bày các quan sát dựa trên dữ liệu mà không tuyên bố có thẩm quyền khoa học. Nhưng một bài báo được trình bày như nghiên cứu khoa học chặt chẽ và đã qua bình duyệt thì phải chịu thêm nhiều nghĩa vụ.

FLAWED thực tế sử dụng cụm từ "peer review" (bình duyệt) để mô tả việc ba đồng nghiệp trong ngành mà tác giả cảm ơn đã xem xét — hoàn toàn khác với quy trình bình duyệt học thuật.

Số lượng trích dẫn tự nó không phải là thước đo tính chặt chẽ, nhưng nó là đại diện hữu ích cho việc liệu các tác giả có đánh giá chính xác các tuyên bố của mình và tham gia một cách có trách nhiệm với tài liệu liên quan hay không. Đạo văn bằng cách bỏ sót là vấn đề nghiêm trọng.

Chu kỳ truyền thông không phải là quy trình công bố

Cách FLAWED được công bố và cập nhật cũng không phù hợp với cách nghiên cứu nên vận hành.

Nghiên cứu cần một hồ sơ công khai. Theo tác giả, có thể xác định rằng FLAWED không được đăng lên kho lưu trữ học thuật hay diễn đàn bình duyệt công khai nào. Dù điều đó không cấu thành bình duyệt, nó vẫn tạo ra một hồ sơ có phiên bản theo thông lệ.

Một tuyên bố công khai nên có sự đính chính công khai. Với nội dung của các phản biện, việc kênh phản hồi duy nhất là email riêng tư là không phù hợp, và việc giữ nguyên bản thảo mà không rút lại là không trung thực.

Liêm chính trong nghiên cứu khoa học

Tại sao tính liêm chính lại quan trọng đến vậy?

Tác giả giải thích lý do ông quan tâm sâu sắc đến vấn đề này: nghiên cứu thiếu trung thực không chỉ đưa một tuyên bố sai vào tài liệu khoa học.

Nó còn:

• Bóp méo chương trình nghị sự nghiên cứu: Công trình có vẻ trùng lặp hoặc không chính xác theo nghiên cứu trước đó thường không được tài trợ. Các nhà nghiên cứu từ bỏ những vấn đề tưởng như đã được giải quyết.
• Lãng phí nguồn lực nghiên cứu: Các nhà nghiên cứu dành thời gian tái tạo hoặc mở rộng những phát hiện gây hiểu lầm.
• Chiếm đoạt sự chú ý và làm ô nhiễm môi trường nhận thức: Các tuyên bố gây hiểu lầm lấn át công trình chặt chẽ hơn, bằng chứng mâu thuẫn bị gạt bỏ, và tầm với của doanh nghiệp trở thành đại diện cho tính xác thực.

Đáng lo ngại là FLAWED đã dẫn đến những hậu quả này. Tuy nhiên, may mắn là dù công trình này đã tiếp cận mọi người qua các bài báo và mạng xã hội, nó dường như chưa trực tiếp xâm nhập vào tài liệu học thuật.

Trách nhiệm cũng thuộc về tất cả chúng ta: đọc kỹ công trình mà mình trích dẫn và khuếch đại, thay vì coi hình thức, đơn vị liên kết hoặc các trích dẫn sẵn có là đại diện cho tính xác thực.

Vì sao chúng ta nên quan tâm đến bảo mật phần mềm nguồn mở

Tác giả khẳng định bất kỳ công ty nào có chương trình bảo mật mạnh đều nên có chức năng nghiên cứu bảo mật vững chắc. Ông cũng thừa nhận trách nhiệm của mình trong việc định hình và thực thi các chuẩn mực của cộng đồng.

Câu hỏi mà ông thực sự muốn tìm câu trả lời là: với ngân sách cố định, biện pháp can thiệp nào cải thiện bảo mật phần mềm nguồn mở tốt nhất — thuê thêm người bảo trì, cung cấp cho người bảo trì hiện có ngân sách token, hợp tác với các công ty tư vấn không được phép dùng AI, hay điều gì đó hoàn toàn khác?

Câu hỏi này, theo hiểu biết tốt nhất của tôi, vẫn còn bỏ ngỏ. FLAWED đã chuyển hướng thời gian và nguồn lực khỏi những nỗ lực có thể thực sự trả lời nó.

Cuối cùng, tác giả kêu gọi cộng đồng nghiên cứu hãy hợp tác để xây dựng một môi trường nghiên cứu liêm chính hơn, nơi những công trình thực sự chất lượng từ các nhóm ít nguồn lực như academia hay EleutherAI được công nhận xứng đáng.

Bài học cho ngành công nghiệp bảo mật

Vụ việc FLAWED mang lại bài học quan trọng cho toàn bộ ngành công nghiệp bảo mật, bao gồm cả Việt Nam:

• Không đánh đồng hình thức với chất lượng: Một báo cáo được trình bày đẹp mắt, có tên gọi chuyên nghiệp không đồng nghĩa với nghiên cứu chặt chẽ.
• Trích dẫn đầy đủ và trung thực: Việc bỏ sót các công trình liên quan, đặc biệt là công trình học thuật, là biểu hiện của sự thiếu hiểu biết hoặc cố ý.
• Công bố phải minh bạch: Các tuyên bố công khai cần có kênh đính chính công khai khi có sai sót.
• Tách bạch marketing và nghiên cứu: Khi nghiên cứu được sử dụng như công cụ tiếp thị, tính liêm chính dễ bị xói mòn.

Với bối cảnh các doanh nghiệp Việt Nam đang ngày càng ứng dụng AI vào bảo mật, việc duy trì các chuẩn mực nghiên cứu khắt khe ngay từ đầu sẽ giúp tránh những sai lầm tương tự và xây dựng niềm tin vững chắc vào công nghệ.