Bellwether: xếp hạng phản hồi theo doanh thu gặp rủi ro

Một sản phẩm quản lý phản hồi khách hàng thường xếp hạng theo số lượt nhắc tới, và chính cách đếm đó khiến bảng xếp hạng bị lệch. Tác giả Yassin đã xây dựng Bellwether, một công cụ gắn mỗi chủ đề phản hồi với doanh thu định kỳ hằng năm (ARR) của các tài khoản đã nêu nó, nhằm trả lời câu hỏi khác: vấn đề nào đang đe dọa nhiều tiền nhất.

Bài viết gốc đăng trên Towards Data Science. Trong phiên bản công cụ này, phần tiếp nhận dữ liệu và phân nhóm chủ đề được mô phỏng, mọi tài khoản, trích dẫn và con số euro đều là dữ liệu tổng hợp xoay quanh một công ty hư cấu tên "Volta", bán phần mềm quản lý dịch vụ hiện trường. Ngược lại, lớp tính điểm là thật: kịch bản phân tích tái tạo lại kho dữ liệu, tính lại mọi con số và chạy hai thí nghiệm dưới đây.

Vì sao đếm lượt nhắc lại bị lệch

Mọi đội sản phẩm đều có một công cụ phản hồi. Nó gom phiếu hỗ trợ thành chủ đề rồi sắp xếp theo tần suất được hỏi. Cách xếp hạng này trông khách quan nhưng không phải: ai viết nhiều người đó thắng, và trong các sản phẩm B2B, người viết nhiều gần như không bao giờ là người trả nhiều tiền nhất. Một phiếu hỗ trợ từ startup năm người và một cuộc gọi gia hạn với tài khoản bốn triệu euro được tính như nhau, mỗi bên một dòng.

Bảng xếp hạng mặc định theo số lượt nhắc

Bối cảnh dữ liệu mô phỏng: Volta có khoảng 19,4 triệu euro ARR, gồm 10 tài khoản định danh (6 doanh nghiệp lớn, 4 tầm trung) cộng hai nhóm gộp (214 tài khoản doanh nghiệp nhỏ và 1.890 tài khoản tự phục vụ). Kho phản hồi có 6.693 tín hiệu từ bốn nguồn, với 10 chủ đề vượt ngưỡng nhiễu. Một số tài khoản doanh nghiệp lớn sẽ gia hạn trong ba tháng tới, và chính điều đó làm việc cân trọng số trở nên đáng chú ý.

Bốn nguồn tín hiệu, mỗi nguồn thiên lệch theo một kiểu:

• Phiếu hỗ trợ (4.812): phủ mọi phân khúc, nghiêng mạnh về doanh nghiệp nhỏ.
• Đánh giá cửa hàng và chợ ứng dụng (386): nghiêng mạnh về khách tự phục vụ và doanh nghiệp nhỏ.
• Ghi chú cuộc gọi bán hàng và gia hạn (291): gần như chỉ đến từ khách doanh nghiệp lớn.
• Ý kiến NPS (1.204): hỗn hợp, bám theo cơ cấu khách hàng.

Tỷ trọng từng nguồn theo phân khúc

Ba phần tư số cuộc gọi bán hàng đến từ sáu tài khoản doanh nghiệp lớn, sáu phần mười đánh giá cửa hàng đến từ người dùng tự phục vụ. Gộp cả bốn nguồn lại không triệt tiêu các thiên lệch này mà kế thừa tất cả cùng lúc. Đây là lý do cách sửa không phải là một biểu đồ đẹp hơn mà là một đơn vị dữ liệu khác.

Cách thiết kế điểm doanh thu gặp rủi ro

Ba quyết định phải chốt trước khi viết dòng đầu tiên của bản mô tả công cụ:

1. Đơn vị dữ liệu không phải một mẩu phản hồi mà là một tín hiệu còn giữ được mã tài khoản. Nếu mã tài khoản bị mất ngay lúc tiếp nhận, mọi thứ phía sau không thể định giá được và sản phẩm quay về thành một công cụ phân nhóm khác.
2. "Doanh thu gặp rủi ro" không phải toàn bộ ARR của bất kỳ tài khoản nào từng phàn nàn, mà là phần ARR bị ảnh hưởng, lọc theo tỷ lệ tín hiệu được nêu trong bối cảnh rời bỏ, gia hạn hoặc cạnh tranh, rồi nhân với trọng số theo độ gần kỳ gia hạn. Một khiếu nại từ tài khoản gia hạn sau sáu tuần không giống khiếu nại y hệt còn hai năm nữa mới gia hạn.
3. Thứ hạng phải có khả năng đảo ngược chứ không chỉ đổi sắc độ. Một chủ đề do 89 người nêu phải có thể vượt mặt chủ đề do 903 người nêu, nếu không công thức chỉ là cách đếm khoác áo đẹp hơn.

Điểm của một chủ đề là tổng trên các tài khoản đã nêu nó: ARR của tài khoản nhân tỷ lệ tín hiệu thuộc chủ đề đó được nêu trong bối cảnh rời bỏ, gia hạn hoặc cạnh tranh, nhân trọng số theo số tháng còn lại tới kỳ gia hạn. Các hệ số bên trong hàm độ gần là quyết định sản phẩm chứ không phải chân lý nằm sẵn trong dữ liệu, nên cần ghi rõ ra. Bản của công cụ dùng dạng bậc: trọng số đầy đủ trong ba tháng, một nửa trong mười hai tháng, một phần năm nếu xa hơn.

Đổi thứ hạng bằng một cú nhấp

Dưới đây là cùng mười chủ đề, xếp theo lượt nhắc rồi xếp lại theo doanh thu gặp rủi ro:

• Chế độ ngoại tuyến trên di động: 1.247 lượt nhắc, nay xếp thứ 7 với 0,9 triệu euro.
• Chế độ tối: 903 lượt nhắc, nay xuống cuối với 50 nghìn euro.
• Nhiễu thông báo: 726 lượt nhắc, nay xếp thứ 9 với 0,3 triệu euro.
• Xuất báo cáo ra Excel: 588 lượt nhắc, nay xếp thứ 8 với 0,6 triệu euro.
• Lên lịch hàng loạt và sửa hàng loạt: 412 lượt nhắc, nay xếp thứ 3 với 3,1 triệu euro.
• Độ phức tạp khi thiết lập và làm quen: 341 lượt nhắc, nay xếp thứ 5 với 1,9 triệu euro.
• Độ chính xác của hóa đơn và thanh toán: 197 lượt nhắc, nay xếp thứ 6 với 1,4 triệu euro.
• Thiếu SSO và SCIM: 89 lượt nhắc, vươn lên đầu với 6,4 triệu euro.
• Giới hạn tần suất API khi đồng bộ ERP: 63 lượt nhắc, nay xếp thứ 4 với 2,8 triệu euro.
• Lưu trữ dữ liệu đa vùng: 34 lượt nhắc, nay xếp thứ 2 với 4,2 triệu euro.

Hai cách xếp hạng trên cùng một kho dữ liệu

Ba điều xảy ra trong bảng này. Thiếu SSO và SCIM (SCIM là chuẩn cho phép bộ phận IT doanh nghiệp tự động tạo và thu hồi tài khoản người dùng) nhảy từ vị trí thứ tám lên đầu: 89 lượt nhắc từ bảy tài khoản, sáu trong đó là doanh nghiệp lớn, nắm tổng cộng 15,7 triệu euro ARR. Lưu trữ dữ liệu đa vùng, chủ đề ít được nhắc nhất, giờ đứng thứ hai, vì đó không phải sở thích mà là yêu cầu từ cơ quan quản lý. Chế độ tối xuống cuối với 50 nghìn euro, và không hề xuất hiện trong cuộc gọi nào với khách doanh nghiệp lớn.

Nhấp vào một dòng sẽ hiện "hóa đơn" gồm bốn phần: ai nêu chủ đề và với số tiền bao nhiêu, ARR đó gia hạn khi nào, các lượt nhắc đến từ nguồn nào, và danh sách tài khoản dẫn tới các trích dẫn gốc. Nhờ vậy câu "một khách hàng nói thế này" biến thành "3,9 triệu euro đã nói thế này", câu thứ hai mới sống sót trong một cuộc họp có giám đốc tài chính.

75% tiếng ồn, 8,5% số tiền

Trên 4.600 lượt nhắc đã phân nhóm và 21,6 triệu euro doanh thu gặp rủi ro, bốn chủ đề được yêu cầu nhiều nhất (ngoại tuyến, chế độ tối, nhiễu thông báo, xuất Excel) chiếm 75% lượt nhắc nhưng chỉ 8,5% doanh thu gặp rủi ro. Ba chủ đề mà góc nhìn hội đồng quản trị đề xuất chiếm 12% lượt nhắc và 63% số tiền. Hai chủ đề ít được nhắc nhất là SSO và lưu trữ dữ liệu chiếm 2,7% lượt nhắc và 49% số tiền.

Tính theo mỗi lượt nhắc, một yêu cầu SSO và SCIM đứng trước khoảng 72.000 euro doanh thu gặp rủi ro, còn một yêu cầu chế độ tối đứng trước khoảng 55 euro. Lý do nằm ở bảng nguồn: cuộc gọi bán hàng chỉ chiếm 4% tín hiệu nhưng đến từ sáu tài khoản doanh nghiệp lớn đang nắm 77% ARR. Các chủ đề ồn ào không hề sai, chế độ ngoại tuyến là vấn đề thật với kỹ thuật viên làm việc dưới tầng hầm, nhưng chúng rẻ, và cách xếp theo lượt nhắc không cho bạn biết điều đó.

Thí nghiệm: thứ hạng có vững trước giả định của chính nó?

Kho dữ liệu được sinh ra với các chủ đề đã biết trước, để cái được kiểm tra là lớp tính điểm chứ không phải bước phân nhóm. Với một hạt giống cố định, kịch bản sinh 6.693 tín hiệu khớp với dữ liệu công cụ: cùng mười chủ đề, cùng số lượt nhắc theo chủ đề và theo nguồn, cùng các tài khoản đứng sau, cùng thiên lệch như màn hình nguồn công bố. Mỗi tín hiệu sau đó bốc ngẫu nhiên một bối cảnh và một ngày.

Sau 30 lần rút ngẫu nhiên bối cảnh, chín trong mười con số của công cụ nằm trong dải phân vị 5 đến 95 và thứ hạng giữ nguyên. Phép thử đảo ngược cũng đạt: SSO và SCIM với 89 lượt nhắc đạt 6,4 triệu euro, còn chế độ tối với 903 lượt nhắc đạt 40 nghìn euro. Ngoại lệ là chủ đề làm quen: kịch bản chỉ đạt 1,9 triệu euro nếu 96% tín hiệu của chủ đề là "nóng", vì nó được ba tài khoản tầm trung và 100 trong 214 tài khoản doanh nghiệp nhỏ nêu ra, tức con số của công cụ là hào phóng. Với giới hạn tần suất API, chỉ năm tài khoản và 63 tín hiệu, dải dao động rộng từ 2,1 đến 3,9 triệu euro, gấp gần đôi.

Thí nghiệm 1, ba hàm độ gần: chạy điểm với dạng bậc, dạng giảm tuyến tính về 0 ở mốc 24 tháng và dạng giảm mũ với chu kỳ bán rã sáu tháng. Cả mười chủ đề giữ nguyên thứ tự dưới cả ba hàm, hệ số tương quan Kendall's tau bằng 1,00 cho mọi cặp. Mức điểm thì thay đổi: hàm tuyến tính nâng các chủ đề của những tài khoản gia hạn trong năm đến bảy tháng, chế độ tối lên 44% vì các tài khoản doanh nghiệp nhỏ của nó gia hạn sau sáu tháng; hàm mũ hạ mọi thứ, tới 20% ở chủ đề hóa đơn. Thứ hạng giữ được vì khoảng cách giữa hai chủ đề liền kề rộng hơn mức hàm làm xê dịch, khoảng hẹp nhất là 11%.

Thí nghiệm 2, khi mất mã tài khoản: lấy ngẫu nhiên 30%, 50% và 70% trong 2.433 tín hiệu đánh giá và NPS, trung bình trên 30 lần rút, ở hai kịch bản. Ở kịch bản A, tín hiệu biến mất khỏi kho: cả lượt nhắc lẫn số tiền cùng giảm, ở mức 70% thì chế độ tối rơi từ 903 xuống 407 lượt nhắc và từ 40 xuống 31 nghìn euro. Ở kịch bản B, tín hiệu vẫn còn cùng lượt nhắc nhưng mất mã tài khoản, nên phần doanh thu giảm y hệt kịch bản A trong khi hội đồng vẫn thấy đủ 903 lượt nhắc, chỉ 45% trong đó được định giá. Các chủ đề do khách doanh nghiệp lớn nêu lại tăng, SSO và SCIM lên 9% vì những ý kiến NPS bị mất vốn là tín hiệu "nguội" và điểm là một tỷ lệ. Một con số tăng lên khi bạn mất dữ liệu thì không thể tin nếu đứng một mình, nên tỷ lệ lượt nhắc được định giá phải nằm cạnh nó.

Ba phần khó thật sự

Gắn tài khoản là toàn bộ công việc. Phiếu hỗ trợ có người gửi, cuộc gọi bán hàng có tài khoản, còn đánh giá cửa hàng chỉ có một tên người dùng. Việc đối chiếu dựa trên tên miền email, danh tính người báo cáo và khớp với CRM, và phải ghi lại độ tin cậy thay vì đoán lặng lẽ. Những tín hiệu không gắn được chính là nhóm khách tự phục vụ, nên công cụ tính thiếu cho phân khúc nó không nhận diện được, và điều đó phải nói to mỗi lần hiển thị con số.

"Doanh thu gặp rủi ro" là con số người ta sẽ lạm dụng, bắt đầu từ chính bạn. Cộng toàn bộ ARR của bất kỳ tài khoản nào từng phàn nàn thì chủ đề nào cũng đáng hàng triệu, và bạn quay về một bảng xếp hạng vô nghĩa gắn ký hiệu euro. Kỷ luật nằm ở bộ lọc: chỉ phần được nêu trong bối cảnh rời bỏ, gia hạn hoặc cạnh tranh, chiết khấu theo độ xa kỳ gia hạn. Khoảnh khắc con số lên slide, nó thành sự thật, nên phương pháp phải luôn cách con số đúng một cú nhấp.

Im lặng là vô hình. Công cụ chỉ thấy những tài khoản lên tiếng. Những khách im lặng cũng rời bỏ, và cân theo doanh thu còn làm tệ hơn vì nó vặn to tiếng của những khách lớn ồn ào nhất. Thí nghiệm thứ hai đặt con số cho điều này: mất tài khoản ở phần lớn phản hồi của nhóm đuôi thì các chủ đề doanh nghiệp lớn tăng trong khi chế độ tối mất một phần năm, dù hội đồng vẫn thấy đủ 903 lượt nhắc. Bốn quý như thế mà không có đối trọng thì roadmap thuộc về những khách hay phàn nàn.

Giới hạn, và những gì nên làm tiếp

Danh sách trung thực trước: phần tiếp nhận và phân nhóm là mô phỏng, mọi con số là tổng hợp, lớp tính điểm được tái lập và kiểm thử nhưng trên kho dữ liệu mà chủ đề đã biết trước, nên không nói gì về việc phản hồi thật phân nhóm tốt đến đâu. Bốn giới hạn thật khác: mỗi tín hiệu chỉ thuộc một chủ đề trong khi phản hồi thật thường đa nhãn; các chủ đề cố định và ranh giới giữa "SSO" với "SCIM" là quyết định sản phẩm mà máy không tự quyết thay bạn; giao diện chỉ hiện một điểm duy nhất không kèm khoảng tin cậy; và chỉ cân theo ARR, bỏ qua tiềm năng mở rộng cùng các khách hàng chiến lược.

Những gì nên xây tiếp, theo thứ tự: một trình biên tập có con người trong vòng lặp để gộp, tách và đổi tên chủ đề vì ranh giới chủ đề làm xê dịch thứ hạng; tín hiệu đa nhãn với trọng số chia phần và mức trần theo tài khoản cho mọi phép cộng giữa các chủ đề, để chặn việc đếm trùng; hiển thị tỷ lệ lượt nhắc được định giá cạnh mọi con số doanh thu để phân khúc im lặng không biến mất; và ghi ngược kết quả về CRM để quản lý thành công khách hàng thấy chủ đề trên hồ sơ tài khoản trước cuộc gọi gia hạn.

Góc nhìn

Với đội sản phẩm và kỹ sư ở Việt Nam đang làm sản phẩm B2B, bài học thực dụng nhất là một vấn đề dữ liệu chứ không phải vấn đề mô hình: nếu pipeline bỏ mã tài khoản ngay từ lúc tiếp nhận phản hồi, không thuật toán phân nhóm nào cứu được việc định giá sau đó. Giữ mã tài khoản trên mọi tín hiệu là việc rẻ, làm được ngay, và mang lại nhiều giá trị hơn việc nâng cấp mô hình.

Bài viết cũng cho thấy hai bảng xếp hạng "tính năng được yêu cầu nhiều nhất" và "tính năng đứng trước nhiều doanh thu nhất" là hai danh sách khác nhau, và trộn lẫn chúng là cách nhanh nhất để tranh luận roadmap không đi tới đâu. Khi trình bày với ban lãnh đạo, đặt con số cạnh trích dẫn và luôn minh bạch phương pháp tính là cách giữ niềm tin. Cuối cùng, hãy nhớ rằng cân theo doanh thu có xu hướng ưu ái khách hàng hay lên tiếng, nên cần theo dõi cả những khách im lặng trước khi họ rời đi.