Fog-Bank: Dự án lưu trữ dòng webcam lâu đời nhất thế giới

FogCam nổi tiếng là webcam hoạt động lâu nhất thế giới, nhưng nó có một đặc điểm ít ai để ý: mỗi lần chụp, nó chỉ công bố đúng một bức ảnh rồi xóa bỏ ngay khi khung hình tiếp theo xuất hiện. Không có kho lưu trữ, không có lịch sử. Dự án Fog-Bank ra đời để lấp vào khoảng trống đó — lưu giữ từng khung hình một, và khi có sự cố xảy ra, hồ sơ sẽ cho biết chính xác thời điểm, thời lượng và lỗi thuộc về phía nào.

Bốn điểm thu thập trên ba mạng

Để đảm bảo không bỏ sót khung hình nào, Fog-Bank triển khai bốn "catcher" hoạt động song song trên ba mạng độc lập:

• Một poller chạy trên máy chủ riêng, hỏi FogCam mỗi 7 giây
• fogline trên Cloudflare, hỏi mỗi 15 giây và giữ bộ đệm 30 ngày
• Một Cloudflare Worker hỏi mỗi 20 giây, ghi thẳng vào kho lưu trữ vĩnh viễn
• Một cỗ máy tại nhà riêng, hỏi mỗi 15 giây

Mỗi điểm thu thập đều đẩy mọi khung hình nhận được vào kho lưu trữ. Định kỳ 5 phút một lần và mỗi đêm, hệ thống quét lại để kéo về những khung hình bị rơi rớt trong quá trình đẩy dữ liệu.

Đối phó với bộ nhớ đệm của FogCam

Một chi tiết kỹ thuật đáng chú ý: vào tháng 8, tác giả phát hiện máy chủ web của FogCam đang trả về các bản sao cũ đến vài phút do cơ chế cache. Để né vấn đề này, mỗi yêu cầu đều phải hỏi đúng file thật — kèm chuỗi truy vấn duy nhất và header no-cache.

Mỗi yêu cầu đều hỏi đúng file thật, bởi vì vào tháng 8 tôi phát hiện máy chủ web của FogCam đang phát tán các bản sao cũ đến vài phút.

Quy trình lưu trữ nghiêm ngặt

Mỗi khung hình sau khi thu thập sẽ trải qua một quy trình xử lý cẩn thận:

• Đặt tên theo thời gian tải lên của chính FogCam
• Tạo dấu vân tay sha-256 để kiểm tra tính toàn vẹn
• Đóng dấu thời gian mà không nén lại — tránh mọi thay đổi dữ liệu gốc
• Lưu dưới định dạng JPEG XL không mất dữ liệu (lossless)
• Sao chép sang Cloudflare R2 ngay trong cùng phút

Bảng trạng thái và hồ sơ pháp y

Hệ thống còn có một bảng trạng thái kiểm tra từng công đoạn — từ camera đến YouTube — vài phút một lần, và gửi cảnh báo qua Telegram khi có bước nào đó ngừng hoạt động. Trang này liệt kê mọi sự cố gián đoạn theo thứ tự, ghi rõ lỗi thuộc về tác giả hay thuộc về FogCam:

• Sự cố máy chủ của FogCam ngày 13 tháng 8
• Tình trạng đóng băng 64 giờ của FogCam từ 8 đến 10 tháng 9
• Sự cố 40 giờ của máy chủ tác giả xảy ra bên trong khoảng đóng băng đó (do đầy đĩa)
• Và những sự cố khác

Cách tiếp cận này biến một dòng webcam tưởng chừng đơn giản thành một hồ sơ pháp y thực sự: mỗi giây gián đoạn đều được ghi lại kèm nguyên nhân và thời lượng. Với những ai quan tâm đến tính bền vững của dữ liệu, đây là ví dụ điển hình về việc thiết kế hệ thống lưu trữ nhiều lớp, đa mạng, chống mất mát — một bài học đáng tham khảo cho các dự án giám sát và lưu trữ dữ liệu thời gian thực.