SCM: tìm kiếm AI cho mọi ảnh và khung hình video trên máy Mac

Công nghệ04 tháng 10, 2026·6 phút đọc

Công cụ mã nguồn mở SCM (Screen Memories) cho phép tìm ảnh và video bằng ngôn ngữ tự nhiên trên macOS, xử lý hoàn toàn cục bộ. Dự án dùng mô hình thị giác để đánh chỉ mục theo nội dung, tách cảnh video theo từng mốc thời gian, đọc chữ trong ảnh và tìm lời thoại chính xác.

SCM: tìm kiếm AI cho mọi ảnh và khung hình video trên máy Mac

SCM (Screen Memories) biến mọi thư mục ảnh và video trên macOS thành một kho tư liệu có thể truy vấn bằng câu mô tả thông thường. Điểm khác biệt nằm ở chỗ toàn bộ quá trình xử lý diễn ra trên máy: không tài khoản, không đám mây (cloud) và không tải dữ liệu lên máy chủ nào. Trọng số (weights) của mô hình chỉ được tải một lần, sau đó công cụ chạy hoàn toàn ngoại tuyến (offline).

Dự án được viết bằng Bun và Electron, phát hành mã nguồn mở trên GitHub. Bản cài đặt dễ nhất là qua Homebrew cho máy Apple Silicon chạy macOS 12 trở lên.

Giao diện tìm kiếm của SCMGiao diện tìm kiếm của SCM

Năm cách tìm kiếm

Công cụ chia tìm kiếm thành năm chế độ, mỗi chế độ giải một bài toán khác nhau:

  • Files: tìm cả ảnh và video theo ý nghĩa, xếp hạng bằng mô hình thị giác, có cộng điểm cho tên tệp và cụm từ.
  • Scenes: tìm khoảnh khắc bên trong video, mở kết quả là nhảy thẳng tới mốc thời gian (timecode) tương ứng.
  • OCR: tìm chữ hiển thị trong ảnh và khung hình, so khớp nguyên văn bằng Tesseract.
  • Dialogue: tìm đúng câu nói trong video bằng Whisper, chia theo ba mức độ khớp.
  • LLMs (Ask): hỏi đáp trên dữ liệu đã trích xuất, dùng mô hình chạy cục bộ.

Với chế độ Files, khi người dùng bắt đầu gõ, hệ thống chạy trước một lượt tìm theo tên tệp, rồi mô hình thị giác tiếp quản. Kết quả được chấm điểm theo độ tương đồng cosine với vector nhúng (embedding) của ảnh. Mỗi ô kết quả có nhãn "vì sao khớp" và chú thích khi rê chuột, hiển thị điểm của từng thành phần.

Truy vấn tiếng Trung, Nhật, Hàn được tách thành các cặp ký tự chồng lấn, nên "台北車站" vẫn khớp với "台北" hoặc "車站".

Chế độ Scenes chấm điểm mọi phân đoạn của tất cả video, nhờ vậy không bỏ sót cú máy nào. Mỗi video chỉ đóng góp tối đa 3 cảnh, và một ngưỡng nhiễu sẽ trả về "không khớp cảnh" thay vì làm ngập lưới kết quả.

Bốn mô hình thị giác, chuyển đổi được

SCM chạy bốn mô hình qua ONNX Runtime, chọn riêng cho từng thư viện:

  • CLIP ViT-L/14@336 (mặc định): tốt nhất cho tìm cảnh video thực tế, khoảng 480 đến 570ms mỗi ảnh, tải về khoảng 435MB.
  • SigLIP-2-B/16: nhập hàng loạt nhanh nhất, khoảng 50 đến 100ms mỗi ảnh, khoảng 412MB.
  • SigLIP-2-L/16@256: độ chi tiết cao với vector 1024 chiều, nhận diện vật nhỏ, biển hiệu, chữ trên màn hình, khoảng 200ms mỗi ảnh, khoảng 850MB.
  • SigLIP-B/16@384: chi tiết tối đa, khoảng 480ms mỗi ảnh, khoảng 214MB.

Khi đổi mô hình, toàn bộ thư viện được nhúng lại. Kết quả mới hiện ngay, phần còn lại xử lý nền, trong lúc chờ thì tìm kiếm tạm dùng từ khóa tên tệp.

Video tách theo từng cảnh

ffmpeg quét từng video để tìm ranh giới cảnh và lập kế hoạch phân đoạn. Có năm mức mật độ, mỗi mức hiển thị trước thời gian và dung lượng đĩa tiêu tốn:

  • Eco: một điểm mỗi 60 giây, ngân sách 4 đến 32 phân đoạn.
  • Balanced (mặc định): 30 giây, 8 đến 128 phân đoạn.
  • Detailed: 15 giây, 12 đến 256 phân đoạn.
  • Ultra: 5 giây, 16 đến 1024 phân đoạn.
  • Ultra Pro: 2,5 giây, 24 đến 2048 phân đoạn, cần xác nhận trước khi chạy.

Mỗi phân đoạn nhúng khung hình ở giữa và giữ một ảnh đại diện (poster). Kế hoạch cảnh được lưu đệm theo đường dẫn, kích thước, thời gian sửa và dấu vân tay cấu hình, nên lần nhập lại bỏ qua bước phát hiện cảnh.

Phần lời thoại dùng Whisper bản tiny.en (khoảng 150MB, mặc định) hoặc base.en (khoảng 300MB).

Các tab và chế độ tìm kiếmCác tab và chế độ tìm kiếm

Đọc chữ và tìm lời thoại

Tesseract chạy trong một tiến trình riêng, tách khỏi mô hình thị giác. Tiếng Anh luôn bật, 35 ngôn ngữ khác chuyển đổi được trong phần cài đặt. Mặc định gồm tiếng Trung giản thể, phồn thể, tiếng Nhật và tiếng Hàn. Mỗi gói ngôn ngữ tải một lần, khoảng 2,4 đến 5MB, riêng bộ mặc định khoảng 17MB.

Chế độ Dialogue tìm nguyên văn trên bản ghi Whisper, không dùng vector nhúng, vẫn chạy khi mô hình AI đang khởi động hoặc ngoại tuyến. Có ba mức kết quả: cả câu liền mạch, đủ từ trong một câu hoặc cửa sổ tối đa 8 giây, và đủ từ trong cùng một video.

Khi bật LLMs Chat, một tiến trình llama.cpp chạy trên địa chỉ loopback trả lời câu hỏi dựa trên lời thoại, chữ OCR và tên tệp đã trích xuất. Câu trả lời có trích dẫn đánh số bấm được và hiển thị tốc độ sinh chữ theo thời gian thực. Có hai mô hình: Qwen3 1.7B (khoảng 1,1GB, vừa máy 8GB RAM) và Llama 3.2 3B (khoảng 2GB, cần thêm bộ nhớ).

Các tab tùy chỉnh trong SCMCác tab tùy chỉnh trong SCM

Tab, thư viện và quyền riêng tư

Ngoài các tab duyệt sẵn có (All, Videos, Screenshots, Email), người dùng lưu được bất kỳ truy vấn nào thành tab, tối đa 20 tab, đổi tên được. Mỗi tab khôi phục đúng như lúc lưu, kèm chế độ tìm kiếm gốc.

Hai tab đặc biệt. Tab Email hiện các ảnh có chữ OCR chứa địa chỉ thư điện tử, chịu được lỗi nhận dạng như dấu phẩy thay dấu chấm hay địa chỉ bị che. Tab Screenshots phân loại ảnh chụp màn hình theo bốn tín hiệu: ghi đè thủ công, từ vựng tên tệp, siêu dữ liệu PNG/JPEG và gợi ý từ thư mục nguồn.

Mọi tệp được băm nội dung SHA-256 trước khi sao chép, nên đổi tên không tạo bản trùng. Dữ liệu nằm trong thư mục ~/Library/Application Support/scm, có thể đổi bằng biến môi trường MEMORIES_DATA_DIR.

Về bảo mật, phần giao diện chạy trong gói app:// được cô lập (contextIsolation), có sandbox hệ điều hành và chính sách CSP giới hạn ở 'self'. Chỉ tiến trình chính mới tải dữ liệu, mỗi thứ đúng một lần, và kiểm tra sha256 khi tải. Không có telemetry, không tài khoản, không tải lên.

Góc nhìn

Dữ liệu ảnh và video cá nhân vốn rất khó tìm: người dùng thường nhớ nội dung nhưng không nhớ tên tệp. Cách tiếp cận chạy mô hình thị giác ngay trên máy phù hợp với các nhóm phải giữ dữ liệu tại chỗ, như phòng pháp chế, báo chí hay doanh nghiệp có quy định nội bộ về dữ liệu.

Với kỹ sư Việt Nam, mã nguồn mở này là ví dụ đầy đủ về một ứng dụng Electron kết hợp ONNX Runtime, ffmpeg, Tesseract và llama.cpp. Kiến trúc tách tiến trình cho OCR, nhúng video theo cảnh và lưu đệm kế hoạch cảnh là những mẫu thiết kế có thể áp dụng cho công cụ nội bộ.

Đánh đổi là yêu cầu phần cứng. Mô hình mặc định mất gần nửa giây mỗi ảnh khi chạy CPU, nên thư viện lớn sẽ tốn thời gian nhập lần đầu. Dù vậy, toàn bộ dữ liệu không rời khỏi máy, một điểm đáng cân nhắc khi chọn công cụ lưu trữ tư liệu.

Nguồn: github.com · Quy trình biên tập

Chia sẻ:FacebookX