CC-Canary: Công cụ phát hiện sớm sự suy giảm hiệu suất trong Claude Code

CC-Canary là một công cụ mới thú vị dành cho các nhà phát triển sử dụng Claude Code, được thiết kế để hoạt động giống như những con chim trong hầm mỏ cũ: phát hiện sớm những dấu hiệu nguy hiểm trước khi chúng trở thành vấn đề lớn. Đóng gói dưới dạng hai Agent Skills có thể cài đặt, CC-Canary giúp người dùng phát hiện xem mô hình AI có đang bị "trôi" (drift) hoặc suy giảm hiệu suất trên công việc riêng của họ hay không.

License MIT

Cơ chế hoạt động và tính năng chính

Điểm nổi bật nhất của CC-Canary là sự tập trung vào quyền riêng tư và hiệu quả. Công cụ này hoạt động hoàn toàn ngoại tuyến (offline), không cần kết nối mạng, không yêu cầu tài khoản và không có bất kỳ quá trình thu thập dữ liệu telemetry hay daemon chạy ngầm nào. Nó chạy trực tiếp trên dữ liệu đã có sẵn trên ổ cứng của người dùng.

CC-Canary đọc các tệp nhật ký phiên JSONL mà Claude Code đã ghi vào thư mục ~/.claude/projects/. Từ đó, nó phân tích và tạo ra các báo cáo điều tra (forensic report) có thể chia sẻ dễ dàng.

Công cụ cung cấp hai kỹ năng chính:

• cc-canary: Khi được gọi với lệnh /cc-canary [window], nó sẽ tạo ra một báo cáo dạng Markdown (ví dụ: ./cc-canary-.md), sẵn sàng để dán vào các GitHub issue hoặc gist.
• cc-canary-html: Khi được gọi với lệnh /cc-canary-html [window], nó tạo ra một bảng điều khiển (dashboard) HTML với giao diện tối (dark-theme) và tự động mở trong trình duyệt của bạn.

Các chỉ số được theo dõi

Mỗi báo cáo được tạo ra bao gồm một bản án (Verdict) như: HOLDING (Ổn định), SUSPECTED REGRESSION (Nghi ngờ suy giảm), CONFIRMED REGRESSION (Đã xác nhận suy giảm), hoặc INCONCLUSIVE (Chưa rõ ràng).

Ngoài ra, CC-Canary còn cung cấp bảng chỉ số chính so sánh giai đoạn trước và sau, bao gồm:

• Tỷ lệ Đọc:Viết (Read:Edit ratio): Ước lượng mức độ kỹ lưỡng của mô hình khi điều tra trước khi thay đổi mã.
• Tỷ lệ viết trong các thay đổi (Write share of mutations): Cho biết mô hình đang viết lại toàn bộ tệp hay chỉ chỉnh sửa phẫu thuật.
• Vòng lặp lý luận (Reasoning loops): Các cụm từ như "để tôi thử lại", "ồ đợi đã", "thực ra là".
• Tỷ lệ thất vọng (Frustration rate): Tần suất các từ ngữ thể hiện sự thất vọng trong lời nhắc của người dùng.
• Chi phí và Token usage: Theo dõi chi phí (USD) và số lượng token trên mỗi lượt người dùng.

Cách cài đặt và sử dụng

Việc cài đặt CC-Canary rất đơn giản thông qua npm. Bạn có thể cài đặt cả hai kỹ năng hoặc chỉ chọn một trong hai:

npx skills add delta-hq/cc-canary

Hoặc cài đặt riêng lẻ:

npx skills add delta-hq/cc-canary --skill cc-canary
npx skills add delta-hq/cc-canary --skill cc-canary-html

Sau khi cài đặt, bạn có thể chạy lệnh trực tiếp từ bất kỳ phiên Claude Code nào:

/cc-canary 60d
/cc-canary-html 30d

Tham số cửa sổ (window) mặc định là 60 ngày, nhưng bạn có thể tùy chỉnh thành 7d, 14d, 30d, 60d, 90d hoặc 180d tùy theo nhu cầu phân tích.

Quy trình xử lý dữ liệu

CC-Canary hoạt động qua các bước chính:

1. Quét (Scan): Một tập lệnh Python được tích hợp sẵn (chỉ sử dụng thư viện chuẩn, không cần pip hay Node) sẽ duyệt qua các tệp JSONL, lọc theo thời gian và loại bỏ các phiên subagent.
2. Khử trùng (Dedupe): Các tin nhắn của trợ lý được khử trùng dựa trên ID để tránh trùng lặp khi phiên được khôi phục hoặc phân nhánh.
3. Tổng hợp (Aggregate): Tính toán các chỉ số theo từng phiên như tỷ lệ công cụ, tỷ lệ đọc:viết, lỗi tự thừa nhận, và chi phí.
4. Phát hiện điểm uốn (Detect inflection): Tìm ngày mà điểm số sức khỏe tổng hợp thay đổi đột biến.
5. Tạo báo cáo: Claude sẽ đọc khung báo cáo được tạo sẵn và điền vào các phần tóm tắt, lý do và kết luận.

Đảm bảo quyền riêng tư

Đối với những người lo lắng về dữ liệu, CC-Canary đảm bảo quy trình hoàn toàn cục bộ. Tập lệnh chỉ đọc các tệp nhật ký trong thư mục dự án của Claude Code. Nội dung lời nhắc của người dùng bị cắt ngắn dưới 180 ký tự và các đường dẫn nhạy cảm như /Users/…, email hay token dạng hex đều được ẩn đi. Không có dữ liệu nào được tải lên máy chủ nào cả.

Hiện tại, dự án đang ở trạng thái pre-alpha (0.x), nên định dạng đầu ra và bộ chỉ số có thể thay đổi trong tương lai. Tuy nhiên, đây là một công cụ hứa hẹn giúp các nhà phát triển kiểm soát chất lượng mã được tạo bởi AI tốt hơn.