CSIRO xây dựng kiến trúc serverless giúp truy vấn biến thể gene nhanh gấp 100 lần trên AWS

CSIRO, cơ quan nghiên cứu khoa học quốc gia của Úc, vừa công bố Serverless Beacon — một kiến trúc serverless cho phép truy vấn các biến thể gene mà không cần sao chép toàn bộ tệp VCF (Variant Call Format) vào một cơ sở dữ liệu trung tâm. Giải pháp này hứa hẹn mở ra hướng đi mới cho các dự án genomics quy mô lớn, nơi khối lượng dữ liệu thường lên tới hàng terabyte.

Bài toán dữ liệu gene truyền thống

Trong nhiều năm, quy trình phổ biến để xử lý dữ liệu gene là đổ toàn bộ nội dung tệp VCF vào một cơ sở dữ liệu tập trung. Cách làm này bộc lộ nhiều điểm yếu:

• Chi phí lưu trữ tăng gấp đôi khi phải duy trì song song cả tệp gốc lẫn bản sao trong cơ sở dữ liệu.
• Thời gian nhập dữ liệu (ingestion) kéo dài, khó đồng bộ khi dữ liệu mới được bổ sung liên tục.
• Rủi ro nhất quán dữ liệu giữa bản gốc và bản sao trong cơ sở dữ liệu.

Serverless Beacon giải quyết triệt để vấn đề này bằng cách truy vấn trực tiếp trên các tệp VCF nén đang được lưu trong Amazon S3.

Cách kiến trúc hoạt động

Hệ thống kết hợp bốn dịch vụ chủ chốt của AWS:

• Amazon S3: nơi lưu trữ các tệp VCF nén — nguồn dữ liệu duy nhất, không cần sao chép.
• AWS Lambda: xử lý logic truy vấn theo mô hình phi máy chủ, tự động co giãn theo nhu cầu.
• Amazon Athena: truy vấn các chỉ mục metadata (metadata index) để xác định vị trí dữ liệu cần đọc.
• Amazon DynamoDB: lưu trữ chỉ mục phục vụ tra cứu nhanh.

Điểm cốt lõi của thiết kế là sử dụng HTTP byte range request — kỹ thuật cho phép đọc chính xác một vùng dữ liệu cụ thể trong tệp nén mà không phải tải toàn bộ tệp về. Khi người dùng đặt truy vấn cho một vùng gene nhất định, hệ thống sẽ:

1. Tra cứu chỉ mục metadata để xác định tệp và offset chứa vùng dữ liệu tương ứng.
2. Gửi các yêu cầu HTTP byte range đến S3 để chỉ tải phần dữ liệu liên quan.
3. Giải nén và trả về kết quả cho người dùng.

Nhờ cách tiếp cận này, toàn bộ dữ liệu gene không bao giờ phải được tải vào bộ nhớ hay lưu trữ lại ở dạng khác.

Hiệu năng ấn tượng

Theo kết quả thử nghiệm được CSIRO công bố, hệ thống đạt độ trễ trung bình 1,52 giây cho các truy vấn vùng gene dài 10.000 cặp base. Con số này rất đáng chú ý khi so sánh với các giải pháp truyền thống, vốn thường cần sao chép và lập chỉ mục lại toàn bộ dữ liệu trước khi phục vụ truy vấn.

"Kiến trúc serverless giúp loại bỏ hoàn toàn gánh nặng vận hành máy chủ, đồng thời cho phép mở rộng quy mô truy vấn một cách tự nhiên theo lượng người dùng thực tế." — đại diện nhóm nghiên cứu CSIRO.

Việc dùng Lambda thay cho máy chủ thường trực cũng có nghĩa chi phí chỉ phát sinh khi có truy vấn, thay vì trả tiền cho tài nguyên nhàn rỗi — một lợi thế lớn với các tổ chức nghiên cứu có ngân sách hạn chế.

Ý nghĩa với cộng đồng genomics

Genomics là lĩnh vực có nhu cầu chia sẻ và truy vấn dữ liệu ngày càng lớn, đặc biệt trong các dự án y học cá thể hóa và nghiên cứu dịch tễ. Các chuẩn như Beacon (GA4GH) cho phép nhiều tổ chức cùng tham gia mạng lưới trao đổi dữ liệu biến thể gene mà không phải gộp dữ liệu về một chỗ.

Kiến trúc của CSIRO đặc biệt phù hợp với mô hình này vì mỗi tổ chức có thể giữ dữ liệu tại S3 của riêng mình, chỉ cần cung cấp một lớp truy vấn serverless phía trên. Điều đó giúp giảm rào cản kỹ thuật và chi phí ban đầu cho các đơn vị muốn tham gia mạng lưới dữ liệu gene toàn cầu.

Bài học cho các đội ngũ cloud tại Việt Nam

Với các startup healthtech và trung tâm nghiên cứu tại Việt Nam đang bắt đầu tiếp cận dữ liệu genomics, mô hình của CSIRO mang đến vài gợi ý thực tiễn:

• Tận dụng dịch vụ lưu trữ đối tượng (object storage) làm nguồn dữ liệu gốc thay vì dựng cơ sở dữ liệu trung tâm ngay từ đầu.
• Ưu tiên kỹ thuật truy vấn theo vùng (range query) để giảm lượng dữ liệu phải luân chuyển, qua đó tiết kiệm băng thông và chi phí.
• Kết hợp chỉ mục metadata với compute serverless như một mô hình kiến trúc có thể tái sử dụng cho nhiều loại dữ liệu lớn khác.

Serverless Beacon cho thấy serverless không chỉ là xu hướng cho ứng dụng web mà còn có thể giải quyết những bài toán khoa học dữ liệu chuyên sâu, nơi hiệu năng và chi phí đều là yếu tố sống còn.