Octopus đo hiệu quả kỹ thuật thời AI bằng số lượng lỗi

Phần mềm18 tháng 11, 2026·7 phút đọc

Giám đốc công nghệ Octopus lý giải cách họ đo hiệu quả đội kỹ thuật khi AI làm khối lượng thay đổi tăng vọt. Công ty bỏ chỉ số tỷ lệ lỗi thay đổi của DORA, chuyển sang đếm số lỗi nghiêm trọng thực sự đến tay khách hàng.

Octopus đo hiệu quả kỹ thuật thời AI bằng số lượng lỗi

Minh họa đo lường hiệu quả kỹ thuật trong kỷ nguyên AIMinh họa đo lường hiệu quả kỹ thuật trong kỷ nguyên AI

Mọi tổ chức kỹ thuật đang phải trả lời cùng một câu hỏi: AI có thực sự giúp chúng ta làm phần mềm tốt hơn không? Tiền đổ vào token và công cụ là tiền thật, cách làm việc của đội cũng đã thay đổi, nên cần nói rõ mình thu được gì.

Andrew Best, CTO của Octopus, cho rằng câu trả lời thường rơi vào hai thái cực. Một bên đếm hoạt động: số dòng mã sinh ra, lượng token tiêu thụ, tỷ lệ mã do tác nhân AI viết. Bên kia nhảy thẳng tới đích và tuyên bố chỉ có giá trị mới đáng đo.

Ông phản bác cách thứ hai. Giá trị chỉ hiện ra sau nhiều tuần hoặc nhiều tháng, và là kết quả của hàng loạt quyết định ở sản phẩm, thiết kế, kỹ thuật và kinh doanh. Không ai đếm nổi "một giờ chú ý của con người".

Kết quả được tạo ra từ đầu ra

Theo Best, câu "kết quả quan trọng hơn đầu ra" bị lặp lại quá nhiều đến mức che mất cách đi tới kết quả. Kết quả được hiện thực hóa qua việc liên tục phát hành đầu ra: ra quyết định, phát hành, quan sát điều gì xảy ra, rồi quyết định lại.

Ông gọi đây là vòng khám phá giá trị. Vòng này quay càng nhanh thì giá trị tích lũy theo thời gian càng nhiều. Tốc độ đó chính là vận tốc, và đầu ra là chỉ báo thay thế cho giá trị.

Vì sao Octopus làm mới bộ chỉ số

Giả thuyết của Octopus rất đơn giản: khối lượng thay đổi sẽ tăng áp đảo. Các nhóm hai kỹ sư đang trở nên bình thường nhờ đòn bẩy AI, còn thời gian xây và phát hành đang co lại.

Bộ chỉ số mới nhằm trả lời những câu hỏi cụ thể:

  • Tần suất phát hành thay đổi và dần mở cho khách hàng là bao nhiêu?
  • Các vòng phản hồi kỹ thuật có đạt chuẩn về tốc độ và độ tin cậy không?
  • Khối lượng thay đổi có tăng khi dùng quy trình có tác nhân AI, trong khi số nhân sự giữ nguyên?
  • Có loại việc trước đây vốn không được làm nay bắt đầu được làm không?
  • Gánh nặng vận hành có giảm không: ít người hơn, ít thời gian hơn, ít việc nhàm chán hơn?
  • Chất lượng có tăng cùng lúc không?
  • Con người có còn thấy vui và thỏa mãn với công việc khi bản chất công việc thay đổi?

Ba nhóm chỉ số

Octopus chia chỉ số thành ba nhóm.

Mục tiêu phát hành đo hiệu quả đường ống phát hành và các vòng phản hồi. Chỉ số tính theo từng hệ thống, và nhóm sở hữu hệ thống tự đặt mục tiêu mức dịch vụ (SLO). Nhóm này gồm:

  • Độ trễ triển khai: thời gian từ lần commit đầu trên một pull request đến khi thay đổi chạy trên 100% máy chủ sản xuất.
  • Biến động pull request, thời gian chu kỳ và độ trễ xem xét: nơi thay đổi bị chậm lại giữa lúc mở và lúc được merge.
  • Thời gian phục hồi: từ lúc lỗi được merge đến khi bản sửa có mặt cho khách hàng bị ảnh hưởng, tách thành ba chặng phát hiện, xử lý và triển khai.
  • Thời gian build và độ ổn định build: trung bình trượt 7 ngày cho build nhánh và build main.
  • Kích thước lô và độ lệch triển khai: bản đang chạy chậm hơn đầu main bao nhiêu commit và bao nhiêu thời gian.

Mục tiêu chất lượng đo chất lượng sản phẩm phát hành và chất lượng trải nghiệm nhà phát triển. Nhóm này đo trên toàn tổ chức, và chính CTO chịu trách nhiệm SLO. Hai chỉ số gồm số lỗi mức nghiêm trọng từ 0 đến 2 lọt tới khách hàng mỗi tháng, và chỉ số NPS nội bộ về nền tảng và trải nghiệm nhà phát triển.

Xu hướng đo trên toàn tổ chức và cố ý không có SLO. Ví dụ là khối lượng pull request được merge theo thời gian, dùng để kiểm chứng giả thuyết về khối lượng thay đổi tăng áp đảo.

Không dùng tỷ lệ lỗi thay đổi

Phần lớn chỉ số trên quen thuộc với ai biết bộ chỉ số DORA. Nhưng Best phản đối một điểm: tỷ lệ lỗi thay đổi (change failure rate) không giúp hiểu tác động lên khách hàng.

Ông kể có thời gian tỷ lệ này dưới 2%, tốt theo mọi thước đo. Nhưng những lỗi hiếm hoi vẫn gây ảnh hưởng lớn cho khách hàng. Tín hiệu báo mọi thứ ổn, trải nghiệm thực tế thì ngược lại.

AI làm vấn đề nặng hơn. Tỷ lệ có mẫu số, và mẫu số chính là thứ được dự báo sẽ bùng nổ. Nếu số thay đổi merge tăng gấp đôi mà tỷ lệ lỗi giữ nguyên, số lỗi tới tay khách hàng cũng tăng gấp đôi, còn bảng theo dõi thì không nhúc nhích.

Khách hàng không trải nghiệm một tỷ lệ phần trăm. Họ trải nghiệm lỗi.

Vì vậy Octopus đếm tuyệt đối số lỗi nghiêm trọng lọt tới khách hàng mỗi tháng, rồi lãnh đạo soi vào từng vấn đề cụ thể phía sau con số. Vẫn có thể quy ra tỷ lệ nếu muốn. Cách này chỉ hiệu quả khi mọi việc đều được ghi nhận: lỗi đã merge lên main và triển khai thì phải có mức độ nghiêm trọng, dù khách hàng hay chính công ty phát hiện.

Xu hướng không đặt mục tiêu

Với các xu hướng, Octopus tuân theo định luật Goodhart: khi một phép đo trở thành mục tiêu, nó không còn là phép đo tốt. Vì thế công ty không đặt chỉ tiêu cho khối lượng pull request.

Con số này là chỉ báo cho vận tốc và là cửa sổ nhìn vào vòng khám phá giá trị. Đặt nó cạnh các SLO sẽ cho bức tranh rõ hơn: pull request tăng trong khi số lỗi nghiêm trọng và độ trễ triển khai giữ nguyên.

Dữ liệu từ DX với hơn 500 công ty cho thấy thông lượng pull request trung vị đã tăng gấp đôi. Nhưng kích thước pull request tăng 122% trong bốn quý, niềm tin của kỹ sư vào thay đổi giảm, và tỷ lệ năng lực dành cho giá trị mới chỉ nhích một điểm phần trăm. Khối lượng thay đổi tăng mà giá trị không tăng theo.

Góc nhìn

Với đội kỹ thuật Việt Nam đang đưa AI vào quy trình, bài học thực dụng nhất là đừng chỉ nhìn số dòng mã hay số pull request. Những con số đó tăng rất nhanh khi có tác nhân AI, nhưng không nói gì về việc phần mềm có tốt hơn cho người dùng hay không.

Cách làm của Octopus gợi ý một bộ khung tối thiểu: đo độ trễ từ commit đến sản xuất, đo thời gian phục hồi khi có sự cố, và đếm số lỗi nghiêm trọng thực sự lọt tới người dùng. Ba chỉ số này đều có thể bắt đầu bằng công cụ sẵn có trong đường ống CI/CD, không cần hệ thống đo phức tạp.

Điểm cần lưu ý là mẫu số. Khi khối lượng thay đổi tăng vọt, tỷ lệ lỗi giữ nguyên vẫn đồng nghĩa nhiều lỗi hơn đến tay khách hàng. Đếm tuyệt đối, rồi đọc kèm xu hướng khối lượng, sẽ trung thực hơn một con số phần trăm đẹp.

Nguồn: octopus.com · Quy trình biên tập

Chia sẻ:FacebookX