Reddit có vấn đề astroturfing? Dữ liệu từ các hội nhóm dao bếp nói lên điều gì

Khi muốn mua một món đồ, rất nhiều người Việt Nam cũng như trên thế giới có thói quen gõ tên sản phẩm vào Google rồi thêm chữ "reddit" ở cuối. Kỳ vọng đằng sau thói quen này rất đơn giản: một người lạ trong hội nhóm chuyên về sản phẩm đó sẽ không có lý do gì để nói dối bạn về chất lượng của nó.

Nhưng chính kỳ vọng đó lại là điểm yếu. Nếu Reddit là nơi người mua tìm đến những đánh giá không vụ lợi, thì đây cũng chính là nơi các thương hiệu muốn cài cắm những đánh giá trả tiền. Một kỹ sư và quản trị site New Knife Day đã quyết định kiểm chứng giả thuyết này bằng dữ liệu định lượng, thay vì chỉ dựa vào cảm giác về một vài bình luận đáng ngờ.

Astroturfing để lại dấu vết gì trong dữ liệu?

Không có thương hiệu nào công khai danh sách tài khoản thuê, nên tác giả phải xác định trước những dấu hiệu mà hoạt động đăng bài trả tiền sẽ để lại. Thị trường cho dịch vụ này không hề che giấu: REDCmts bán một bình luận Reddit với giá 9,99 USD và gói 100 bình luận với giá 699,99 USD, quảng cáo là dùng "tài khoản thật, đã lâu năm" và trưng ra thư viện các lượt nhắc thương hiệu mà họ nói đã thực hiện. Soar cho biết tài khoản của họ được "nuôi thủ công trong nhiều tuần" trước khi thực hiện một lượt nhắc thương hiệu duy nhất. Bazzly thì quảng cáo dịch vụ tự động trả lời mọi bài đăng có dấu hiệu ai đó đang cân nhắc mua hàng.

Bảng giá dịch vụ bán bình luận Reddit của REDCmts

Nếu lấy các trang bán hàng đó làm mô tả sản phẩm, một chiến dịch trả tiền cho một thương hiệu, được thực hiện qua một nhóm tài khoản được chuẩn bị sẵn, sẽ để lại sáu dấu hiệu:

• Một nhóm nhỏ tài khoản viết phần lớn các lượt nhắc thương hiệu trong những chủ đề "nên mua gì", với tỷ lệ cao bất thường.
• Những tài khoản đó gần như lúc nào cũng chỉ nhắc đúng một thương hiệu.
• Tài khoản mỏng: ít bình luận, điểm thấp, không có uy tín thực sự trong hội nhóm.
• Tài khoản mới lập, hoặc có lịch sử bị ẩn đi, xóa sạch.
• Tài khoản chủ yếu hoạt động trong hội nhóm về dao, vì bình luận về dao mới là thứ được trả tiền.
• Có liên kết đến cửa hàng hoặc trang tiếp thị liên kết.

Mô tả quy trình nuôi tài khoản của dịch vụ Soar

Điểm mấu chốt cần lưu ý: mỗi dấu hiệu trên đều có thể do một người hâm mộ cuồng nhiệt, một nhân viên của xưởng sản xuất tự đăng bài lúc rảnh, hoặc một thành viên kỳ cựu của hội nhóm tạo ra. Dữ liệu Reddit công khai chỉ cho thấy mức độ tập trung của các lời khuyên, chứ không thể chứng minh nguyên nhân đằng sau.

Cách kiểm chứng

Tác giả đã tinh chỉnh một mô hình nhận diện thực thể có tên GLiNER để trích xuất thương hiệu, dòng sản phẩm và loại thép ra khỏi các bình luận về dao. Chẳng hạn, từ câu "picked up a Mazaki in white #2, way better than my old Fibrox", mô hình trả về Mazaki là thương hiệu, Fibrox là dòng sản phẩm và white #2 là loại thép. Mô hình này chạy trên toàn bộ bình luận mà công cụ thu thập dữ liệu New Knife Day gom được từ sáu hội nhóm: r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc và r/KnifeSteels.

Tập dữ liệu gồm 6.675 bài đăng và 51.129 bình luận sau khi làm mới, với 987 tác giả có từ 10 bình luận trở lên và 1.471 lượt nhắc thương hiệu trong các chủ đề mua hàng. "Chủ đề mua hàng" được xác định bằng biểu thức chính quy trên tiêu đề và nội dung bài, tìm các cụm như "should I buy", "recommend", "under $" hay "best knife".

Để trả lời câu hỏi nhóm nhỏ tài khoản này có viết nhiều hơn mức mà số lượng bình luận của họ giải thích hay không, tác giả giữ nguyên vị trí mọi lượt nhắc thương hiệu, rồi gán lại tên tác giả một cách ngẫu nhiên, giống như xáo trộn bảng tên. Việc này được lặp lại 1.000 lần để dựng nên khoảng phân bố do ngẫu nhiên tạo ra.

Kết quả: tập trung hơn mức ngẫu nhiên, nhưng không rõ vì sao

Nhóm "đuôi" gồm 49 tài khoản, tương ứng 5% tác giả có mức độ chuyên nhắc một thương hiệu cao nhất. Theo tính toán ngẫu nhiên, nhóm này đáng lẽ viết khoảng 7,9% các lượt nhắc thương hiệu trong chủ đề mua hàng, gần như luôn nằm trong khoảng 6,3% đến 10,1%. Thực tế con số này là 11,3%, và chỉ có 2 trong số 1.000 lần gán ngẫu nhiên đạt tới mức đó.

Nói cách khác, khoảng một trong chín lời khuyên mua hàng đến từ 49 tài khoản này, trong khi xác suất ngẫu nhiên chỉ là một trong mười ba.

Điểm đáng chú ý là mức tập trung này không rải đều. Hai hội nhóm là r/chefknives (14,9% so với 7,7% kỳ vọng) và r/knifeclub (12,4% so với 7,3%) vượt rõ rệt mức ngẫu nhiên. Trong khi đó r/knives, hội nhóm lớn nhất, chỉ cao hơn kỳ vọng nửa điểm phần trăm. Xét theo thương hiệu, ba thương hiệu nhận được lượng lời khuyên từ nhóm đuôi cao hơn hẳn mức ngẫu nhiên, một thương hiệu lớn nhận ít hơn một chút, và ba thương hiệu không có khác biệt. Đây là hình dạng mà một vài chiến dịch có mục tiêu sẽ để lại — nhưng cũng chính là hình dạng mà một vài nhóm người hâm mộ ồn ào sẽ tạo ra.

Lịch sử đầy đủ của các tài khoản lại trông rất bình thường

Đây là phần thú vị nhất. Một tài khoản trả tiền được chuẩn bị kỹ càng đáng lẽ phải mới lập, chủ yếu hoạt động trong hội nhóm mà nó được trả tiền để đăng bài, và chỉ đẩy một thương hiệu duy nhất.

Nhưng khi lấy toàn bộ lịch sử Reddit của 23 tài khoản đuôi đứng sau ba thương hiệu có tín hiệu, rồi so với 23 tài khoản thường được chọn ngẫu nhiên trong cùng khoảng số bình luận, kết quả cho thấy:

• Tuổi tài khoản trung vị là 4,5 năm, giống hệt nhóm đối chứng.
• Chỉ 3,2% bình luận của nhóm đuôi nằm trong sáu hội nhóm về dao, so với 10,3% ở nhóm đối chứng.
• Nhóm đuôi hoạt động ở 66 hội nhóm khác nhau, nhiều hơn mức 47 của nhóm đối chứng.
• Trong toàn bộ lịch sử, họ nhắc tới 7 thương hiệu dao, chứ không phải một.
• Liên kết cửa hàng xuất hiện rất thưa ở cả hai nhóm.

Không có đặc điểm nào tách biệt hai nhóm ở mức ý nghĩa thống kê p < 0,05. Tác giả so sánh khoảng hai chục đặc trưng và nhận thấy không khác biệt nào lớn hơn mức mà việc chia 31 người thành hai nhóm ngẫu nhiên thường tạo ra. Những khác biệt có xu hướng nghiêng về phía nhóm đuôi ít tập trung vào dao hơn.

Đó không phải là chân dung của một tài khoản được nuôi với mục đích duy nhất. Đó là chân dung của một người dành nhiều thời gian trên Reddit và có cảm xúc mạnh mẽ với một xưởng làm dao nào đó. Tất nhiên, đó cũng có thể là chân dung của một tài khoản trả tiền được vận hành bài bản — chính vì thế các dịch vụ mới bán tài khoản lâu năm thay vì tài khoản mới.

Những hạn chế cần nhớ

Tác giả thẳng thắn liệt kê các điểm yếu của phân tích. Bộ nhận diện thương hiệu dùng mô hình GLiNER gốc thay vì bản đã tinh chỉnh cho dao, nên bỏ sót một số thương hiệu và gán nhầm một số tên dòng sản phẩm. Định nghĩa "chủ đề mua hàng" vẫn là biểu thức chính quy chưa được kiểm tra chéo thủ công trên 100 chủ đề. Kết quả theo từng thương hiệu chỉ dựa trên 15 đến 20 tài khoản, nên một lỗi nhận diện sai có thể làm lệch cả một dòng.

Tác giả cũng kiểm định tám thương hiệu và sáu hội nhóm — với số lượng phép kiểm định như vậy, một hai kết quả sẽ trông bất thường chỉ do may mắn. Riêng kết quả tổng thể 11,3% là một phép kiểm định duy nhất nên không mắc vấn đề này. Lịch sử tài khoản cũng bị giới hạn ở mức khoảng 2.000 bình luận mà Reddit trả về, và danh sách bài đăng chỉ kéo dài tới khoảng 1.000 bài mỗi hội nhóm. Đây là sáu hội nhóm, không phải toàn bộ Reddit.

Cuối cùng, tác giả điều hành chính New Knife Day, trang theo dõi cùng những thương hiệu mà tập dữ liệu này đếm. Ông khẳng định không có quan hệ với bất kỳ thương hiệu nào trong dữ liệu, nhưng cũng thừa nhận không có cách nào chứng minh điều đó với người đọc.

Bài học thực tế cho người dùng

Đối với người dùng Việt Nam thường xuyên tra cứu Reddit trước khi mua đồ công nghệ hay thiết bị đắt tiền, kết luận vừa mang tính cảnh báo vừa mang tính trấn an. Tin tốt là việc thêm chữ "reddit" vào truy vấn tìm kiếm vẫn chủ yếu dẫn bạn đến người thật. Tin đáng lưu tâm là với một vài thương hiệu, từ một phần tư đến một phần ba lời khuyên mua hàng đến từ những tài khoản gần như chỉ giới thiệu đúng thương hiệu đó.

Liệu đó là người hâm mộ hay tài khoản được trả tiền, tác giả không dám khẳng định. Sau khi đọc lịch sử hoạt động của họ, ông nghiêng về khả năng là người hâm mộ — và giữ quan điểm đó một cách dè dặt.

Cách kiểm tra thực tế mà chính dữ liệu ủng hộ rất đơn giản: khi một lời khuyên về sản phẩm đến từ một tài khoản bạn không quen, hãy bấm vào xem họ đã bao giờ nhắc đến một thương hiệu khác chưa. Trong tập dữ liệu này, chỉ câu hỏi đó thôi cũng phân tách nhóm đuôi khỏi phần còn lại tốt hơn cả điểm karma. Tuy nhiên, nó sẽ không bắt được bình luận trả tiền đến từ một tài khoản thật, lâu năm — và tác giả cho rằng không có cách nào mà người đọc thông thường có thể làm được điều đó.

Mã phân tích, bảng tổng hợp và biểu đồ đều được công bố trong kho lưu trữ của dự án. Tên người dùng, nội dung bình luận, lịch sử tài khoản và bảng mã thương hiệu không được công bố và sẽ không được công bố.