Khi siêu máy tính nhanh hơn vẫn chưa đủ

Khi một triệu cựu chiến binh chia sẻ dữ liệu di truyền của mình thông qua chương trình "Cựu chiến binh Triệu người" của Bộ Cựu chiến binh Hoa Kỳ, họ không mong nhận lại điều gì. Ravi Madduri, nhà khoa học cấp cao thuộc Bộ phận Khoa học Dữ liệu và Học máy tại Phòng thí nghiệm Quốc gia Argonne của Bộ Năng lượng Hoa Kỳ, hiểu rất rõ điều đó. Nhưng chính món quà ấy lại đặt ra một nghĩa vụ mà ông và cộng sự đang nỗ lực hoàn trả — bằng những bước tiến thực sự trong tin sinh học và điện toán hiệu năng cao.

Một nghĩa vụ không thể trì hoãn

Ông chia sẻ thẳng thắn về những điều kiện mà các cựu chiến binh đặt ra khi trao dữ liệu: "Ngay cả sau khi đã cống hiến mọi thứ cho đất nước, họ vẫn tìm thấy trong trái tim mình để cho đi nhiều hơn mà không mong nhận lại gì."

Món quà ấy đã tạo nên ngân hàng sinh học lớn nhất toàn quốc và là tập đoàn dữ liệu cựu chiến binh đa dạng nhất về nguồn gốc tổ tiên trên thế giới. Điều đó cũng tạo ra một món nợ mà Madduri — người đồng thời giữ chức vụ tại Khoa Di truyền Người thuộc Đại học Chicago — đang từng ngày nỗ lực trả.

"Điều tôi cảm nhận khi nhìn vào dữ liệu đó là tôi có nghĩa vụ phải mang lại cho các cựu chiến binh đúng với ý nguyện của họ khi làm việc này."

Ý nguyện đó, theo cách ông hiểu, là để những người khác — dù là cựu chiến binh hay không — đều có thể hưởng lợi từ bất cứ điều gì mà dữ liệu có thể tiết lộ.

Bài toán mà siêu máy tính không thể tự giải

Hai bộ gen người bất kỳ khác nhau ở hàng triệu vị trí cụ thể. Một nghiên cứu liên kết toàn bộ hệ gen (GWAS) đặt ra một câu hỏi tưởng chừng đơn giản trên khối dữ liệu khổng lồ: liệu một biến thể di truyền nhất định có đi kèm với một tình trạng bệnh lý cụ thể nào không?

Nhân câu hỏi đó lên với mọi biến thể đáng kiểm tra và mọi tình trạng được ghi trong hồ sơ bệnh nhân, nó trở thành một bài toán khổng lồ — đúng loại bài toán mà siêu máy tính được sinh ra để giải. Câu hỏi khó hơn là liệu mã nguồn có được viết để cho phép chúng giải hay không.

Nhóm của Madduri đã chạy bài toán này trên hệ thống Summit tại Cơ sở Điện toán Lãnh đạo Oak Ridge và trên hệ thống Aurora tại Cơ sở Điện toán Lãnh đạo Argonne. Trên Summit, nhóm phát hiện rằng công việc sẽ không thể hoàn thành trên CPU của máy. Khi tập đoàn dữ liệu lớn dần, ma trận mà phân tích cần cho mỗi nhóm không còn vừa với bộ nhớ, và công việc bị đình trệ.

"Chúng tôi quyết định mở chiếc hộp ra và nhìn vào mã nguồn," Madduri kể lại. Họ phát hiện vấn đề không chỉ là tốc độ, mà là cách viết mã.

Từ CPU sang GPU: bước ngoặt của SAIGE-GPU

Phân tích ban đầu được viết cho các bộ xử lý thông thường, bởi vì đó là nền tảng mà cộng đồng di truyền học đang sử dụng. Nhưng bên dưới các thuật toán, mã nguồn dành gần như toàn bộ thời gian để làm một việc: nhân các lưới số rất lớn. Đây chính xác là phép toán mà bộ xử lý đồ họa (GPU) được sinh ra để thực hiện, và cũng là thứ biến chúng thành động cơ của việc huấn luyện trí tuệ nhân tạo hiện đại.

Theo Madduri, cùng một kiến trúc điện toán đang tăng tốc các khám phá AI "cũng là nền tảng cho di truyền học quần thể."

Nhóm của ông — do Alex Rodriguez tại Argonne dẫn dắt phần việc này — đã viết lại phần mã đó cho GPU. Một phân tích vốn cần khoảng 481.000 giờ lõi CPU ở phiên bản gốc đã trở nên khả thi. Sự thay đổi này không chỉ tăng tốc một công việc chậm chạp; nó biến một công việc gần như bất khả thi thành khả thi.

Công cụ chủ lực mà họ tăng tốc là gói di truyền học phổ biến mang tên SAIGE, và phiên bản được viết lại có tên SAIGE-GPU, được mô tả trong một bài báo riêng trên tạp chí Bioinformatics.

"Chúng tôi không giỏi đặt tên. Xin lỗi," Madduri nói với vẻ ngượng ngùng.

Trước SAIGE-GPU, gần như mọi nghiên cứu GWAS đều bắt đầu bằng việc chọn một căn bệnh rồi tìm các biến thể liên quan đến nó. Madduri thẳng thắn về chi phí của cách tiếp cận đó: "Một trong những thách thức tôi thấy trong nghiên cứu y sinh là nó rất manh mún. Mỗi năm, họ có tập dữ liệu mới, phân tích dữ liệu, tìm ra một tập biến thể di truyền mới, và điều này diễn ra trên tất cả các bệnh khác nhau."

Lý do, theo ông, là khả năng tiếp cận điện toán quy mô lớn còn hạn chế. Nhóm của ông chọn cách không manh mún, mà giải quyết thách thức điện toán một lần và mãi mãi.

13.672 vùng gen và 1.600 phát hiện "vô hình"

Nhóm nghiên cứu — tập đoàn Chương trình Cựu chiến binh Triệu người — công bố kết quả trên tạp chí Science, với nhóm của Madduri nằm trong số các tác giả, và công bố phần việc điện toán riêng trên Bioinformatics.

Nghiên cứu báo cáo về 2.068 đặc điểm trên 635.969 cựu chiến binh, và kết quả đánh dấu 13.672 vùng của bộ gen liên quan đến một hoặc nhiều tình trạng bệnh lý. Khoảng 1.600 vùng trong số đó chỉ xuất hiện vì gần một phần ba người tham gia không có nguồn gốc châu Âu.

Theo bài báo trên Science, hầu hết các nghiên cứu di truyền cho đến nay chủ yếu dựa trên người gốc châu Âu. 1.600 mối liên hệ này trước đây "vô hình" trong các quần thể được nghiên cứu.

Phạm vi tổ tiên đó cũng định hình cách phân tích phải được thực hiện. Các nhóm không thể đơn giản gộp chung lại. Nếu một tình trạng bệnh phổ biến hơn ở một nhóm tổ tiên so với nhóm khác, phân tích không có cách nào phân biệt dấu hiệu bệnh thực sự với dấu hiệu của việc đơn thuần thuộc về nhóm đó. Mỗi nhóm phải được chạy riêng, rồi kết quả được kết hợp sau. 1.600 mối liên hệ ấy không tồn tại trong kết quả của bất kỳ nhóm đơn lẻ nào — chúng chỉ xuất hiện khi các phân tích riêng biệt được kết hợp lại.

Điều mà toàn bộ nỗ lực này thực sự có nghĩa

Madduri rất cẩn trọng về ý nghĩa của toàn bộ bài tập này và những gì nó không bao hàm: "Tất cả những điều này đều là tiền lâm sàng. Đây là giai đoạn khám phá."

Phân tích tạo ra một bản đồ thống kê về nơi cần tìm kiếm. Việc biến bất kỳ một trong 13.672 vùng đó thành phương pháp điều trị cần nhiều năm nghiên cứu tiếp theo từ các nhà khoa học tiếp nhận và theo đuổi dữ liệu. Đó là lý do Madduri nói rằng nhóm của ông chưa bao giờ dừng lại.

"Những việc mất 14 ngày khi chúng tôi viết bài báo trên Science giờ chỉ mất chưa đầy vài giờ."

Điều này có nghĩa là có câu trả lời sớm hơn, nhưng phần thắng thực sự là khả năng đặt cùng câu hỏi đó cho một quần thể lớn hơn — "với kích thước tập đoàn lớn hơn và độ chặt chẽ thống kê cao hơn so với bài báo chúng tôi công bố vài năm trước."

Khi dữ liệu không thể di chuyển

Bộ gen của các cựu chiến binh có một lợi thế khác thường so với dữ liệu y tế khác: một cơ quan duy nhất thu thập dữ liệu theo một thỏa thuận duy nhất, và đó là điều cho phép đưa chúng lên Summit.

Trong y học, Madduri cho biết dữ liệu "không thể được chia sẻ cho nhau một cách tự do như bạn có thể chia sẻ dữ liệu vũ trụ học."

Giải pháp thay thế là di chuyển mô hình: "Học liên kết cho phép bạn huấn luyện mô hình mà không cần di chuyển dữ liệu." Mỗi tổ chức huấn luyện trên bản sao mà mình đã có, sau bức tường của chính mình, và chỉ gửi trả lại những điều chỉnh mà mô hình học được. Những điều chỉnh đó được kết hợp thành một mô hình cập nhật duy nhất, gửi đến tất cả mọi người, và chu trình lặp lại.

Khi được hỏi làm sao thuyết phục nhiều tổ chức cùng tính toán mà không gộp chung bất cứ thứ gì, ông chỉnh lại tiền đề: "Không phải tổ chức. Tầng đầu tiên của câu đố đó là con người muốn làm việc cùng nhau, muốn hợp tác." Rồi đến phần làm cho nó hoạt động: "Đó là một liên kết của con người."

Madduri là đồng tác giả phát triển APPFL, khung học liên kết bảo vệ quyền riêng tư của Argonne, cung cấp phương tiện giúp "di chuyển" mô hình thay vì dữ liệu. Cỗ máy bên dưới gần với kiểm soát truy cập hơn là học máy.

"Bạn không cần phải viết mã cho từng bộ lập lịch," ông nói. Globus Compute trình bày một giao diện duy nhất xuyên qua các bộ lập lịch của các cơ sở, và APPFL gửi các công việc huấn luyện qua đó.

Vấn đề khó nhất: quyền được phép

Ngay cả với những thách thức kỹ thuật này, vấn đề khó hơn là quyền được phép. "Mọi tính toán diễn ra đều là tính toán được cấp phép, gắn với một phân bổ dự án," Madduri nói.

Huấn luyện liên kết nghĩa là công việc của mỗi cộng tác viên phải chạy dưới thông tin xác thực của tổ chức họ trên một cỗ máy mà họ được quyền sử dụng cá nhân. Một cơ sở có dữ liệu mà không ai khác có sẽ làm cho mô hình chung tốt hơn cho mọi người.

"Nếu một cơ sở có dữ liệu độc nhất và các cơ sở khác không có, thì mô hình trở nên vững chắc hơn," Madduri nói thêm.

Nhiều thế giới khác nhau

Madduri là người thường xuyên tham dự Hội nghị SC kể từ SC01 tại Denver — hội nghị có chủ đề "Vượt qua ranh giới", tập trung vào việc di chuyển dữ liệu xuyên qua chúng.

"Tôi là một nghiên cứu sinh, và tôi có một bản demo tại gian hàng DOE trình diễn luận văn thạc sĩ của mình, lúc đó là dùng Internet để di chuyển lượng lớn dữ liệu một cách đáng tin cậy từ điểm này sang điểm khác," ông kể lại.

Khả năng đó được gọi là truyền tệp tin cậy, và theo lời ông, nó "đã chuyển hóa thành thứ ngày nay gọi là 'Globus'." Công cụ đầu tiên ông góp phần xây dựng di chuyển dữ liệu nghiên cứu khắp nơi. Công cụ mới nhất để dữ liệu nằm nguyên tại chỗ.

Kể từ SC01, Madduri đã tham dự hội nghị khoảng 20 lần và rất cụ thể về những gì ông mang về: "Tôi học xử lý song song, cách mọi người mở rộng quy mô huấn luyện AI, cách mọi người xử lý song song hóa, cách mọi người xử lý giám sát sử dụng tài nguyên."

Gần đây, mối quan tâm đã chuyển sang tác tử AI: "Các phương pháp tác tử là biên giới tiếp theo của chúng tôi," ông tuyên bố.

Madduri cũng ý thức rằng ông bước đi trong những lĩnh vực nghiên cứu khác thường. Trước y sinh học, ông từng làm việc với các nhà vật lý năng lượng cao, kỹ sư động đất và các nhà vũ trụ học.

"Khi tôi đến SC, tôi sống trong nhiều thế giới khác nhau," ông nói. "Tôi là một phần của một nhóm rất nhỏ những người đi cả hội nghị di truyền người lẫn hội nghị siêu máy tính."

Điều còn thiếu

Với Madduri, món nợ của ông vẫn chưa được trả xong. Hơn một thập kỷ sau khi những cựu chiến binh đầu tiên đăng ký, dữ liệu của Chương trình Cựu chiến binh Triệu người đã tạo ra một bản đồ nhưng chưa tạo ra phương pháp chữa trị. Thứ đứng giữa hai điều đó là công việc làm cho các tổ chức riêng biệt tính toán như một thể thống nhất — cho đến nay vẫn phần lớn được làm thủ công.

"Với các thí nghiệm trước đây, chính chúng tôi phải nói chuyện với NERSC, nói chuyện với Argonne, nói chuyện với Oak Ridge," Madduri nói. "Có rất nhiều con người trong vòng lặp."

Ông hy vọng Đám mây Khoa học Hoa Kỳ đang được xây dựng trong khuôn khổ Sứ mệnh Genesis của Bộ Năng lượng sẽ đảm nhận việc đó: "Nó sẽ được tự động hóa, chạy bằng API."

Hiện tại, Madduri vẫn tập trung vào việc biến dữ liệu thành thành tựu, dùng một tập đoàn dữ liệu rất đặc biệt để tiết lộ bước đột phá tiếp theo chống lại ung thư hoặc giúp ai đó thoát khỏi nỗi lo âu suốt đời. Cho đến lúc đó, ông đánh dấu tiến bộ bằng từng ý tưởng hay, từng tiến bộ kỹ thuật, và từng kỳ Hội nghị SC.

"Mối liên hệ của tôi với Siêu máy tính, với SC, lâu dài và rất hiệu quả," Madduri nói. "Tôi sẽ trở lại vào tháng 11, tại Chicago, cho SC26."

Góc nhìn cho độc giả Việt Nam

Câu chuyện của Madduri mang đến bài học trực tiếp cho ngành công nghệ Việt Nam, đặc biệt trong bối cảnh các trung tâm dữ liệu và hạ tầng tính toán hiệu năng cao đang được đầu tư mạnh mẽ tại các khu công nghệ cao.

Bài học thứ nhất: Nâng cấp phần cứng không tự động mang lại kết quả. Như trường hợp SAIGE-GPU cho thấy, cùng một bài toán có thể bất khả thi trên CPU và khả thi chỉ trong vài giờ trên GPU — chìa khóa nằm ở việc viết lại mã nguồn cho đúng kiến trúc. Đây là lời nhắc nhở cho các đội ngũ kỹ thuật trong nước đang tối ưu hóa cho AI và dữ liệu lớn.

Bài học thứ hai: Học liên kết (federated learning) là giải pháp thiết thực cho những lĩnh vực nhạy cảm về dữ liệu như y tế, tài chính và hành chính công — nơi quy định pháp lý không cho phép gộp dữ liệu tập trung. Việc di chuyển mô hình thay vì di chuyển dữ liệu cũng giảm đáng kể chi phí băng thông và rủi ro bảo mật.

Bài học thứ ba: Sự đa dạng dữ liệu có giá trị khoa học và thị trường thực sự. Việc 1.600 tín hiệu di truyền chỉ lộ diện khi có sự tham gia của các cộng đồng ngoài châu Âu cho thấy các mô hình AI huấn luyện trên dữ liệu thiếu đa dạng sẽ bỏ sót những phát hiện quan trọng — một vấn đề mà các nhà phát triển AI tại Việt Nam cần đặc biệt lưu tâm khi xây dựng mô hình cho người dùng bản địa.