Phát hiện UAV thời gian thực với YOLOv8n trên RK3588S đạt 46 FPS nhờ NPU

Một dự án mới có tên khadas_yolov8n_multithread đã giới thiệu một pipeline thị giác máy tính hiệu suất cao và tiết kiệm tài nguyên, được thiết kế riêng cho SoC Rockchip RK3588S. Mục tiêu chính của dự án là thực hiện phát hiện UAV (máy bay không người lái) thời gian thực bằng mô hình YOLOv8n, đạt tốc độ khung hình tối đa của cảm biến và giảm thiểu tải cho CPU.

Demo Dual Track

Hiệu suất vượt trội nhờ tối ưu hóa NPU

Điểm nổi bật nhất của hệ thống này là khả năng chạy suy luận mô hình YOLOv8n song song trên cả 3 lõi NPU (Bộ xử lý thần kinh) của RK3588S. Nhờ kỹ thuật đa luồng này, tốc độ xử lý đã tăng từ khoảng 31 FPS (với vòng lặp đơn luồng thông thường) lên mức trần 46 FPS của camera OS08A10. Điều này có nghĩa là pipeline xử lý không còn là nút thắt cổ chai, mà giới hạn giờ đây nằm ở chính phần cứng cảm biến hình ảnh.

Mặc dù xử lý video độ phân giải 1080p, hệ thống chỉ tiêu tốn khoảng 140 MB RAM cho mỗi luồng dữ liệu. Mức tiêu thụ thấp này cho phép phần mềm chạy mượt mà ngay cả trên những bo mạch RK3588S giá rẻ chỉ có 2 GB RAM, thay vì đòi hỏi các bộ phát triển cao cấp với 8 GB hoặc 16 GB.

Tăng tốc hoàn toàn bằng phần cứng

Để đạt được hiệu quả như trên, tác giả đã thiết kế hệ thống sao cho mọi tác vụ nặng nề trên mỗi khung hình đều được chuyển sang các khối phần cứng cố định (fixed-function silicon) của RK3588S:

• ISP (Image Signal Processor): Chịu trách nhiệm thu thập khung hình từ camera MIPI.
• RGA (2D Graphics Accelerator): Xử lý chuyển đổi không gian màu và thay đổi kích thước ảnh.
• NPU: Thực hiện suy luận mô hình AI.

Nhờ đó, CPU gần như được giải phóng hoàn toàn và bộ nhớ giữ ổn định mà không cần các bộ đệm trung gian khổng lồ.

Kiến trúc pipeline và tích hợp LLM

Hệ thống không chỉ dừng lại ở việc phát hiện vật thể mà còn xây dựng một chuỗi các quy trình độc lập nhỏ kết nối với nhau qua Unix-domain sockets. Dữ liệu phát hiện sẽ chảy theo trình tự: Phát hiện → ByteTrack (theo dõi đa vật thể) → Trích xuất đặc trưng thời gian → Máy trạng thái hiện diện (presence FSM).

Đặc biệt, khi một UAV được theo dõi rời khỏi khung hình, một mô hình ngôn ngữ lớn (LLM) chạy cục bộ trên thiết bị (Qwen2.5-0.5B) sẽ được kích hoạt. NPU sẽ tạm thời chuyển giao quyền kiểm soát cho LLM để tạo ra một bản đánh giá bằng ngôn ngữ tự nhiên về sự kiện vừa diễn ra, sau đó trả lại quyền kiểm soát cho camera để tiếp tục quá trình giám sát.

Khả năng triển khai và tương thích

Dự án được phát triển và kiểm thử trên bo mạch Khadas Edge2 nhưng được thiết kế để tương thích với bất kỳ bo mạch nào sử dụng chip RK3588S. Người dùng có thể biên dịch trực tiếp trên bo mạch (native build) hoặc biên dịch chéo (cross-compile) từ môi trường x86-64/WSL.

Với khả năng chạy hai camera cùng lúc, footprint bộ nhớ nhỏ và kiến trúc module hóa, đây là một giải pháp hứa hẹn cho các ứng dụng IoT nhúng yêu cầu xử lý AI biên mạnh mẽ nhưng tiết kiệm chi phí.