Dùng eBPF truy tìm lưu lượng mạng bí ẩn trên cụm máy tính toàn cầu của HRT

Trong hạ tầng máy tính phân tán quy mô lớn, việc truy tìm nguồn gốc của những luồng dữ liệu bất thường có thể là một bài toán cực kỳ hóc búa. Hudson River Trading (HRT) — một công ty giao dịch định lượng nổi tiếng — mới đây đã chia sẻ câu chuyện thú vị về cách họ giải quyết nghịch lý "nghiên cứu tăng vọt nhưng băng thông lại cạn kiệt" bằng công nghệ eBPF.

Bối cảnh: khi băng thông trở thành nút thắt cổ chai

HRT vận hành một cụm máy tính khổng lồ trải rộng trên nhiều trung tâm dữ liệu toàn cầu, chuyên xử lý các bài toán nghiên cứu định lượng và mô hình tài chính phức tạp. Mọi thứ diễn ra suôn sẻ cho đến khi đội ngũ kỹ thuật nhận thấy một nghịch lý khó hiểu: khối lượng công việc nghiên cứu không tăng đột biến, nhưng lưu lượng mạng nội bộ lại tiêu tốn băng thông với tốc độ đáng báo động.

Điều đáng lo ngại là không có công cụ giám sát nào chỉ ra chính xác nguồn gốc của lưu lượng "mờ ám" này. Các dashboard truyền thống chỉ cho thấy tổng dung lượng, chứ không thể phân rã chi tiết ai đang gửi gì cho ai.

Khi bạn có hàng nghìn tiến trình chạy song song trên hàng trăm máy chủ, một luồng dữ liệu nhỏ chạy ngầm cũng có thể nhân lên thành hàng terabyte lãng phí mỗi ngày.

eBPF: công cụ mổ xẻ lưu lượng ở tầng nhân

Để tìm ra thủ phạm, đội ngũ HRT đã chuyển sang eBPF (extended Berkeley Packet Filter) — một công nghệ cho phép chạy các chương trình đã được kiểm chứng ngay trong nhân Linux mà không cần sửa đổi mã nguồn hệ điều hành hay khởi động lại máy.

Với eBPF, họ có thể:

• Đặt các điểm quan sát (probe) ngay tại các hàm xử lý mạng trong nhân, ghi lại chi tiết từng gói tin TCP/UDP
• Gắn nhãn lưu lượng theo tiến trình, xác định chính xác tiến trình nào, container nào, hay dịch vụ nào đang tạo ra luồng dữ liệu
• Truy vết theo ngữ cảnh phân tán, liên kết các sự kiện mạng trên nhiều máy chủ khác nhau thành một bức tranh duy nhất
• Chạy với chi phí cực thấp, không làm suy giảm hiệu năng của các tác vụ nghiên cứu đang chạy

Cách tiếp cận này khác biệt hoàn toàn với các giải pháp giám sát truyền thống như netstat hay tcpdump ở chỗ: eBPF không cần sao chép dữ liệu ra ngoài nhân, không gây tải nặng, và có thể phân tích ở tốc độ gần như theo thời gian thực.

Kết quả: truy tìm đến tận gốc

Nhờ dữ liệu chi tiết thu được từ eBPF, HRT đã lần ra thủ phạm của lưu lượng bí ẩn. Hóa ra, một thành phần phần mềm tưởng chừng vô hại đang định kỳ sao chép dữ liệu giữa các cụm máy chủ theo cách không tối ưu — lặp lại những luồng truyền tải dư thừa mà không hề được cấu hình trong bất kỳ kế hoạch nào.

Sau khi xác định được nguyên nhân, họ đã điều chỉnh logic đồng bộ, giới hạn phạm vi truyền dữ liệu và tiết kiệm được một lượng băng thông đáng kể — đồng thời giải phóng tài nguyên cho các tác vụ nghiên cứu thực sự cần thiết.

Bài học cho các đội hạ tầng Việt Nam

Câu chuyện của HRT mang lại vài bài học thiết thực cho các kỹ sư DevOps và hạ tầng tại Việt Nam:

• Đừng tin vào dashboard tổng hợp: chỉ số tổng hợp thường che giấu các vấn đề vi mô nhưng tốn kém
• eBPF là kỹ năng đáng đầu tư: công nghệ này đã có sẵn trên các kernel Linux hiện đại và các công cụ như Cilium, Pixie, hay bpftrace giúp việc triển khai dễ dàng hơn nhiều
• Quan sát chủ động (observability) không chỉ để debug: nó còn giúp tối ưu chi phí hạ tầng, đặc biệt khi vận hành trên cloud nơi băng thông bị tính phí theo dung lượng
• Xây dựng văn hóa điều tra dựa trên dữ liệu: thay vì đoán mò, hãy để hệ thống tự chỉ ra vấn đề

Với sự phổ biến ngày càng tăng của Kubernetes và kiến trúc microservices, những "luồng mạng bí ẩn" kiểu này sẽ còn xuất hiện nhiều. Nắm vững eBPF có thể là lợi thế cạnh tranh quan trọng cho bất kỳ đội ngũ hạ tầng nào trong tương lai gần.