Darkbloom: Mạng lưới suy luận AI phi tập trung tận dụng sức mạnh từ máy Mac rảnh rỗi

Darkbloom, một dự án nghiên cứu từ Eigen Labs, đã công bố một mạng lưới suy luận (inference) phi tập trung mới lạ, nhằm tận dụng nguồn lực tính toán khổng lồ nhưng thường bị bỏ phí của các máy Mac Apple Silicon. Với hơn 100 triệu máy Mac đã được bán ra kể từ năm 2020, phần lớn trong số đó nằm im lìm trong 18 tiếng mỗi ngày, Darkbloom biến chúng thành một mạng lưới siêu máy tính phục vụ cho nhu cầu AI đang bùng nổ.

Vấn đề của chi phí tính toán AI hiện tại

Thị trường tính toán AI hiện nay đang trải qua ba tầng lớp cộng giá, khiến chi phí cuối cùng tăng vọt. NVIDIA bán GPU cho các nhà cung cấp đám mây (hyperscalers) như AWS hay Google Cloud; các nhà cung cấp này lại cộng thêm giá và bán cho các công ty AI; và cuối cùng, các công ty AI lại cộng thêm một lần nữa khi bán API cho người dùng cuối. Kết quả là người dùng phải trả mức giá gấp nhiều lần so với chi phí thực tế của phần cứng.

Trong khi đó, Apple đã xuất xướng hàng trăm triệu máy Mac có phần cứng ML mạnh mẽ, với băng thông bộ nhớ lên tới 819 GB/s và Neural Engine hiệu suất cao. Darkbloom giải quyết vấn đề thị trường này bằng cách kết nối trực tiếp nguồn cung dư thừa này với nhu cầu, loại bỏ các trung gian đắt đỏ.

Quyền riêng tư và bảo mật là ưu tiên hàng đầu

Thách thức lớn nhất của mạng lưới tính toán phi tập trung là niềm tin. Người dùng sẽ ngần ngại gửi dữ liệu nhạy cảm đến một máy tính lạ mà họ không sở hữu. Darkbloom giải quyết vấn đề này bằng cơ chế "suy luận riêng tư" (private inference), đảm bảo người vận hành node (Mac owner) không thể quan sát dữ liệu suy luận.

Hệ thống áp dụng bốn lớp bảo mật độc lập:

• Mã hóa: Yêu cầu được mã hóa đầu cuối (end-to-end) trên thiết bị người dùng trước khi truyền đi. Bộ điều phối (coordinator) chỉ định tuyến dữ liệu mã hóa mà không thể đọc được.
• Xác minh phần cứng: Mỗi node nắm giữ một khóa được tạo bên trong phần cứng bảo mật chống giả mạo của Apple (tamper-resistant secure hardware). Chuỗi xác thực (attestation chain) có thể truy xuất về chứng chỉ gốc của Apple.
• Thời gian chạy được cố định (Hardened runtime): Quy trình suy luận bị khóa ở mức hệ điều hành. Việc gắn debugger hay kiểm tra bộ nhớ đều bị chặn, ngăn chặn người vận hành trích xuất dữ liệu.
• Dữ liệu đầu ra có thể truy xuất: Mọi phản hồi đều được ký bởi máy cụ thể tạo ra nó, cho phép bất kỳ ai cũng có thể xác minh độc lập.

Lợi ích kép: Giảm chi phí và tạo thu nhập

Darkbloom mang lại lợi ích cho cả hai phía tham gia hệ sinh thái:

Đối với người dùng AI:

• Tiết kiệm chi phí: Nhờ chi phí biên của phần cứng rảnh rỗi gần như bằng không, giá thành giảm tới 70% so với các giải pháp tập trung.
• API tương thích OpenAI: Người dùng có thể tích hợp dễ dàng bằng cách thay đổi base URL, hỗ trợ streaming, function calling và các SDK hiện có.
• Đa dạng mô hình: Hỗ trợ các mô hình hàng đầu như Gemma 4 26B, Qwen 3.5 (27B và 122B MoE), và MiniMax M2.5 239B.

Đối với chủ sở hữu Mac (Operators):

• Kiếm thu nhập thụ động: Chủ sở hữu Mac giữ lại 100% doanh thu suy luận. Chi phí điện năng trên Apple Silicon rất thấp, chỉ khoảng 0,01–0,03 USD mỗi giờ tùy theo khối lượng công việc, phần còn lại là lợi nhuận.
• Dễ dàng cài đặt: Có thể cài đặt thông qua CLI hoặc ứng dụng Menu Bar sắp ra mắt, chạy dưới dạng dịch vụ nền.

Hiệu quả kinh tế và triển vọng

Theo các phép đo của Darkbloom, việc sử dụng phần cứng rảnh rỗi giúp cắt giảm đáng kể chi phí trên mỗi triệu token. Ví dụ, mô hình Gemma 4 26B có giá chỉ khoảng 0,03 USD cho đầu vào và 0,20 USD cho đầu ra, giảm 50% so với các dịch vụ tập trung tương tự. Đối với tạo ảnh (Image Generation) và chuyển đổi giọng nói thành văn bản (Speech-to-text), mức tiết kiệm cũng lên tới 50%.

Đây là một bước đi thú vị trong xu hướng "DePIN" (Decentralized Physical Infrastructure Networks), tương tự như cách Airbnb tận dụng phòng trống hay Uber tận dụng xe rảnh, nhưng áp dụng cho sức mạnh tính toán AI. Với sự đảm bảo về bảo mật phần cứng, Darkbloom hứa hẹn sẽ thay đổi cách chúng ta tiếp cận hạ tầng AI trong tương lai.