Lừa đảo AI: Tạo nhân vật da màu giả để bán hàng giá rẻ trên TikTok

Aliyah, một người phụ nữ da màu có làn da sáng, ăn mặc theo phong cách miền Tây nước Mỹ, đang vật lộn để bán những chiếc khuy kim loại tự làm trên TikTok. Trong một video đăng lên nền tảng này vào tháng 3, cô ấy khóc trước camera và van xin người xem: “Dù là một người phụ nữ da màu, tôi vẫn tin rằng những người phụ nữ da trắng sẽ ở lại 13 giây [để xem video này] để cứu lấy doanh nghiệp bán khuy thắt lưng của tôi,” dòng chữ trên màn hình hiện lên. Aliyah lau một giọt nước mắt trên má.

Tuy nhiên, Aliyah không có thật, và những sản phẩm được cho là tự làm của cô ấy cũng vậy — cô ấy chỉ là một trong những người ảnh hưởng do AI tạo ra nhằm bán các sản phẩm sản xuất hàng loạt thông qua mô hình dropshipping trên TikTok, Facebook và Instagram. Những chiếc khuy thắt lưng giống hệt nhau — với thiết kế hoa hướng dương, phần lưỡi dao tháo rời và tất cả các chi tiết khác — đang được bán trên trang thời trang nhanh Shein với giá chỉ bằng một phần tư so với giá Aliyah đưa ra.

Aliyahsbuckles trên TikTok (trái) và Amaya's buckles trên TikTok (phải)

Có một số manh mối để nhận ra video này được tạo bởi AI. Giọng nói của Aliyah rất máy móc và vô cảm, không khớp với khuôn mặt đang khóc trên màn hình. Trong một đoạn clip, cô ấy đang khâu dây da ở một vị trí mà thông thường sẽ không có đường khâu. Khi cô ấy lau nước mắt, dòng nước dưới chỗ cô ấy lau cũng biến mất theo. Và cuối cùng, có hàng chục video kỳ lạ tương tự nhưng với các nhân vật AI khác nhau đang lưu hành trên TikTok. Một trong số đó, hồ sơ của một tài khoản tên là “Aliyahsbuckles”, có cùng một bối cảnh, mặt bàn và cuộn dây chỉ giống hệt nhau.

The Verge đã tìm thấy hàng chục tài khoản trên TikTok với các câu chuyện tương tự và nhiều loại sản phẩm dropshipping khác nhau, bao gồm khuy thắt lưng, cốc hình chiếc bốt cao su, túi móc và áo len. Một số video này được gắn nhãn là do AI tạo ra. Các tài khoản tương tự cũng hoạt động tích cực trên Instagram và Facebook. Hầu hết mọi khía cạnh của các tài khoản này đều xuất hiện là do AI tạo ra — từ “người” trong video đến các phản hồi tự động cho bình luận, trong một số trường hợp cố gắng bắt chước tiếng lóng của người Mỹ gốc Phi — và các chuyên gia cảnh báo những trò lừa đảo này đang gia tăng mỗi ngày.

“Nó rất khổng lồ,” Jeremy Carrasco, một nhà nghiên cứu về phương tiện do AI tạo ra và giám đốc của Riddance.ai, một tổ chức tập trung vào việc phát hiện video AI, chia sẻ với The Verge về các video AI liên quan đến các cửa hàng thương mại điện tử. “Hầu hết trong số chúng không được phối hợp. Một số thì có. Rất nhiều lần họ sẽ chạy một diễn viên [do AI tạo ra], hoặc một vài diễn viên sẽ chạy tất cả các loại cửa hàng,” ông giải thích. Những hình đại diện do AI tạo ra này giả vờ làm ra các món đồ, đi đến hội chợ để trưng bày sản phẩm của họ và “phản hồi” các bình luận thông qua tự động hóa. “Những gì chúng ta đang thấy ngay bây giờ là những trò lừa đảo bán lẻ nơi họ sẽ liên kết đến các trang web Shopify.”

Một người bán hàng trên TikTok do AI tạo ra đang khóc

Carrasco ước tính nhóm nghiên cứu của ông đang tìm thấy tới 100 tài khoản mỗi ngày cố gắng bán sản phẩm thông qua hình đại diện do AI tạo ra. Hầu hết các tài khoản mà The Verge tìm thấy được tạo ra trong hai tháng qua và chứa các video về các doanh nghiệp nhỏ thuộc về các cá nhân bị thiệt thốn đang vật lộn để bán được hàng; các video này cực kỳ tương tự nhau, chỉ có những thay đổi nhỏ trong kịch bản. Trong khi chúng tôi cũng tìm thấy các nhân vật phụ nữ bản địa, người gốc Tây Ban Nha và phụ nữ da trắng, các nhân vật do AI tạo ra được xem và tương tác nhiều nhất mà The Verge tìm thấy là phụ nữ da màu. Chỉ riêng tài khoản của Aliyah đã có 40.000 người theo dõi.

“Những gì chúng ta đang thấy ở đây là mồi nhử lòng đồng cảm,” Carrasco nói. “Nếu có một mặt hàng dropshipping phổ biến có thể được bán cho một cộng đồng ngách nào đó, họ sẽ tìm thấy nó và họ sẽ thử [sử dụng] một số tính cách để làm điều đó.” Carrasco giải thích rằng các xu hướng này thường là những cơ hội ngẫu nhiên để kiếm tiền. “Nó chỉ là một cơ hội tùy ý, và đó là những gì rất nhiều nội dung AI ngoài kia đang là — các nền tảng thực sự không quan tâm và mọi người không để ý.”

Video phổ biến nhất của Aliyah, video được mô tả trong phần mở đầu của bài viết này, đã nhận được 814.000 lượt thích, 6,5 triệu lượt xem và gần 30.000 bình luận. Một số bình luận nhận ra nội dung này là do AI tạo ra, nhưng nhiều người khác bày tỏ mong muốn giúp đỡ doanh nghiệp của Aliyah, bình luận vào video để tăng khả năng hiển thị của cô ấy trên nền tảng.

India Cater-Campbell là một trong số những người bình luận như vậy, bày tỏ mong muốn mua khuy thắt lưng của Aliyah. “Tôi đang cố gắng ủng hộ một nữ doanh nhân da màu độc lập,” Cater-Campbell, một nữ doanh nhân da màu thực sự đang chuẩn bị mở quán cà phê tại Seattle, nói. “[Tôi cảm thấy] sự đoàn kết vì tôi cũng đang cố gắng khởi nghiệp.”

Mặc dù thiếu các nghiên cứu về các mô hình video AI thế hệ mới nhất, Carrasco ước tính rằng các video này “đủ thực tế để lừa” hầu hết mọi người. Người dùng các nền tảng nội dung video ngắn đã được rèn luyện để lướt vô thức và không tìm hiểu sâu hơn về nội dung họ đang tiêu thụ. Một cách đầy mỉa mai, chính điều này có thể đã giúp Cater-Campbell không mua chiếc khuy thắt lưng đó: cô ấy không thể tìm thấy liên kết cửa hàng ngay lập tức, nên cô ấy đã lướt qua và nhanh chóng quên mất Aliyah.

Nhưng mọi người đang bị lừa bởi những trò lừa đảo này, và sự nổi tiếng của chúng đang tăng lên: Hai tuần trước, Gizelle Bryant từ chương trình The Real Housewives of Potomac đã thừa nhận mua hai chiếc túi móc sau khi xem một video trong đó một cậu bé da màu do AI tạo ra nói rằng cậu đang bị bắt nạt bởi những cậu bé da trắng vì đan móc. “Tôi nghĩ, tôi muốn giúp cậu bé da màu này đạt được mục tiêu của mình,” Bryant nói trên podcast Reasonably Shady của mình, thêm rằng những người nổi tiếng khác cũng đã có mặt trong phần bình luận. “Làm sao tôi lại bị lừa thế này? Viola Davis cũng ở đó.”

Xu hướng này là một loại “mặt nạ đen kỹ thuật số” (digital blackface), theo Cienna Davis, một nhà nghiên cứu truyền thông tại Đại học Pennsylvania. “Mặt nạ đen kỹ thuật số là một hiện tượng mà các cá nhân không phải người da màu có thể sử dụng internet và công nghệ kỹ thuật số để bắt chước biểu hiện văn hóa của người da màu vì lợi ích cá nhân, kinh tế hoặc chính trị,” Davis giải thích qua cuộc gọi video. Davis trước đây đã viết về mặt nạ đen kỹ thuật số, chỉ ra việc sử dụng các gif của người da màu cũng như việc mạo danh người da màu vì các mục tiêu chính trị. “Nó bắt nguồn từ biểu diễn mặt nạ đen (blackface minstrelsy), gắn liền với di sản của chế độ nô lệ,” bà giải thích.

Dựa trên ý tưởng rằng “tính chất người da màu vốn dĩ có thể khai thác” và “có thể lấy được”, mặt nạ đen kỹ thuật số được sử dụng để “khai thác giá trị từ cơ thể người da màu theo bất kỳ cách nào [người không phải da màu] thấy phù hợp,” Davis nói. Trong trường hợp này, các video đang bắt chước “một ý tưởng có thể nhận ra về sự đấu tranh của người da màu,” bà thêm vào.

Ngay cả khi không có xác nhận rằng những người đứng sau video này không phải là người da màu, Tempest M. Henning, trợ lý giáo sư triết học tại Đại học Fisk, khẳng định các video này là mặt nạ đen kỹ thuật số. “Mặt nạ đen là bất kỳ kiểu mô tả biếm họa nào về người da màu, có thể bao gồm cả người da màu ăn mặc theo phong cách biếm họa của người da màu,” Henning nói. Bà dẫn chứng các tiền lệ lịch sử khi người da màu đôi khi bị buộc phải biểu diễn trong các chương trình minstrel và ví dụ gần đây hơn là Zoe Saldaña làm tối màu da và đeo đồ giả nhân tạo để đóng vai Nina Simone trong một bộ phim tiểu sử.

Có một tính chất giả tạo vốn có trong “tính chất người da màu” mà những hình đại diện này tuyên bố. Như Henning giải thích, “Tên của hình đại diện được mã hóa là người da màu, như Aliyah hoặc Amaya, nhưng không có gì khác [tín hiệu của tính chất người da màu đích thực] ngoài chính hình đại diện đó.” Điều đó càng được củng cố bởi sự sao chép nội dung trên các bản sắc chủng tộc khác nhau, điều mà, theo Henning nói, dẫn đến sự làm phẳng hóa các bản sắc đó.

The Verge đã liên hệ với Aliyahsbuckles cũng như các cửa hàng khác bán các sản phẩm tương tự, nhưng không nhận được phản hồi.

Các video được đăng trên tài khoản của Aliyah được sao chép từng cảnh một qua nhiều tài khoản tương tự bán các mặt hàng dropshipping, với những sửa đổi nhỏ để phù hợp với danh tính của nhân vật hoặc món đồ được bán. Trong một video có nhân vật phụ nữ da màu khác, Amaya, một người phụ nữ da trắng chế giễu ném cà phê lên các chiếc khuy thắt lưng đang được trưng bày tại hội chợ. Amaya hơi thất vọng — cảm xúc hơi máy móc và không bao giờ trông đúng lắm — thở dài và quay lại công việc trung thực của mình là làm các chiếc khuy của mình. Một cảnh tương tự xuất hiện trong một tài khoản gọi là ChubbyKnots; lần này hình đại diện là một cô gái da màu và sản phẩm là áo cardi bướm đan móc.

Henning cho biết có một sức hấp dẫn của việc “ra hiệu đức hạnh” (virtue signaling) trong các video này, nơi người xem được kêu gọi thể hiện lòng tốt hoặc thậm chí sự đoàn kết chủng tộc hoặc giai cấp. “Đó là ra hiệu đức hạnh theo nghĩa ‘À, người phụ nữ da trắng đó đã làm thế, nhưng tôi không phải là loại người phụ nữ da trắng đó, vậy tôi có thể mua chiếc khuy thắt lưng này ở đâu?’” Henning nói. “Như thể họ đang nói, ‘Tôi không đứng về phía những người đó.’”

Tuy nhiên, Henning chỉ ra sự hời hợt của sự hỗ trợ dựa trên chủng tộc hoặc giai cấp khi người dùng không dừng lại để nghiên cứu xem họ đang hỗ trợ ai thực sự.

Có lẽ đó là một kết quả xã hội lớn hơn của nội dung video ngắn và việc tiêu thụ nội dung rác: Sự đoàn kết thường được thực hiện ở “mức độ bề mặt”, bà giải thích, thay vì thông qua một lăng kính chính trị mạch lạc và đa chiều. “Tôi có thể rất quan tâm đến một doanh nghiệp do người da màu làm chủ, nhưng điều đó không nhất thiết có nghĩa là tất cả các doanh nghiệp của người da màu đều phù hợp với quan điểm chính trị và những gì tôi đại diện,” Henning nói.

Sự hấp dẫn đối với việc ra hiệu đức hạnh này vượt ra ngoài phạm trù chủng tộc, còn dựa trên các dấu hiệu của giai cấp lao động và sự mô phỏng những người làm việc chăm chỉ để kiếm sống trong một nền kinh tế suy thoái. “[Không chỉ là] sự đấu tranh của người da màu vì trong các video khác, chúng ta có thể quan sát sự đấu tranh của giai cấp lao động, sự đấu tranh của doanh nghiệp nhỏ,” Davis nói. “Rõ ràng là nó đang sử dụng [câu chuyện đó] để bán hàng hóa sản xuất hàng loạt. Nó không sáng tạo chút nào. Nó thực sự chỉ là các mẫu và tạo nhân vật do AI tạo ra được tối ưu hóa để người tiêu dùng nhận diện và đầu tư vào sản phẩm. Nó rộng hơn nhiều so với ‘cảm giác tội lỗi của người da trắng’ hoàn toàn, vì nó có thể được sử dụng theo bất kỳ cách nào cảm thấy cần thiết hoặc phù hợp với sản phẩm.”

Mặc dù có sự làm phẳng hóa bản sắc chủng tộc này, hoặc có thể chính vì nó, các thuật toán — vốn đã được chứng minh là duy trì định kiến chủng tộc có ý thức và vô ý thức từ những người xây dựng chúng — đang phân phối nội dung do AI tạo ra phù hợp với các sở thích mà chúng suy ra cho từng người dùng, Carrasco nói. Những sở thích này có thể bao gồm nội dung từ các nhân khẩu học cụ thể mà các nhân vật AI có thể bắt chước. “Nó nhắm đến nhân khẩu học mà [thuật toán] có thể nhìn thấy,” ông nói. “Thường thì một phụ nữ da màu sẽ thấy người da màu do AI tạo ra trong nguồn cấp dữ liệu của họ, một người châu Á sẽ nhận được người châu Á do AI tạo ra.”

Nhìn kỹ hơn vào nội dung, dễ dàng phát hiện ra những sự không nhất quán và dấu hiệu của AI. Chúng ta không bao giờ thấy nhân vật trên màn hình quá vài giây vì các ứng dụng AI như Seedance 2.0, Midjourney và Sora 2 vừa ngừng hoạt động của OpenAI không thể tạo ra đoạn clip dài hơn 15 giây. Khi sản phẩm được trưng bày, ánh sáng sáng hơn thay vì tông màu nâu đỏ, và bàn tay cầm các chiếc khuy là da trắng. Cảm xúc trên khuôn mặt của các nhân vật không khớp hoàn toàn với giọng nói của họ.

Nhưng việc nhận ra điều này đòi hỏi kiến thức về phương tiện truyền thông AI hiện chưa có sẵn rộng rãi, đặc biệt là ở quy mô mà các video này đang được tạo ra và công nghệ đang tiến hướng tới tự động hóa nhanh hơn và các hình đại diện thực tế hơn. “Những người không được đào tạo về kiến thức truyền thông hoặc kiến thức truyền thông phản biện sẽ chỉ tiêu thụ nó mà không đặt câu hỏi,” Davis nói.

Ảnh chụp màn hình của Amayasbuckles bán một chiếc khuy thắt lưng có lưỡi dao hình hoa hồng giá 40 USD

Chính cấu trúc của các nền tảng video ngắn, là các kênh chính của thông tin sai lệch, khuyến khích sự thiếu phân biệt của người dùng, những người đã được rèn luyện để muốn lướt sang video tiếp theo thay vì suy nghĩ về những gì họ đang xem. “[Các nền tảng này] đang bị khai thác bởi nội dung AI một phần vì để tìm ra điều gì đó là AI, thường mất một hoặc hai giây,” Carrasco nói. “Đến lúc đó, bạn đã đăng ký một mức độ tương tác nào đó.”

Những người kiếm lợi từ các loại video này biết điều này, và các công cụ để tạo ra các quảng cáo video ngắn có thể mở rộng quy mô do AI tạo ra có sẵn rộng rãi trên internet. Trong quá trình thực hiện câu chuyện này, The Verge đã tìm thấy các kênh YouTube và diễn đàn dành riêng cho các hướng dẫn về cách tạo ra quảng cáo như vậy mà không cần mẫu sản phẩm, phí người ảnh hưởng hay kịch bản gốc.

Các hướng dẫn này dạy người dùng cách sao chép các video lan truyền với nhiều công cụ AI và thay thế người ảnh hưởng thực bằng các nhân vật do AI tạo ra. ChatGPT và Gemini được sử dụng để trích xuất và sao chép kịch bản từ các video thực của những người ảnh hưởng thực, với tùy chọn tạo ra nhiều biến thể của cùng một kịch bản. Các công cụ này cũng được sử dụng để tạo ảnh của người giả và bối cảnh giả dựa trên người ảnh hưởng thực và bối cảnh thực, sau đó được nhập vào các ứng dụng như Kling 2.0 và Maxfusion. Với một số mô hình tạo video AI, video của người ảnh hưởng thực có thể được nhập hoàn toàn vào ứng dụng và người dùng có thể thay thế người thật bằng một nhân vật AI mà họ tạo ra, hiệu quả là đánh cắp kịch bản và bối cảnh của video gốc.

Mặc dù kiến thức truyền thông có thể giúp người dùng cá nhân không bị lừa bởi các trò lừa đảo video AI, nhưng các nền tảng mạng xã hội hiện đang thất bại trong việc kiểm duyệt và, tối thiểu là gắn nhãn nội dung này. “Các nền tảng nên có cấu trúc phát hiện và gắn nhãn AI mạnh hơn,” Davis nói. “Các kiểm tra định kiến trên các nền tảng này cũng sẽ được hoan nghênh, cũng như các con đường báo cáo rõ ràng để báo cáo việc lạm dụng AI trên các nền tảng.”

Ngoài việc kiểm duyệt, Carrasco gợi ý rằng tính minh bạch của tài khoản cũng sẽ giúp người dùng biết liệu họ đang xem nội dung do AI tạo ra hay không, với các nhãn rõ ràng dễ nhìn thấy và không yêu cầu các bước bổ sung.

Nhưng người tiêu dùng nội dung video ngắn đã có nhiều năm kinh nghiệm lướt nguồn cấp dữ liệu của họ và tương tác hời hợt với bất cứ thứ gì xuất hiện. Việc đảo ngược việc đào tạo nhận thức này dường như gần như không thể thực hiện ở quy mô lớn nếu không có chính các nền tảng tự mình hành động. Không có động lực thực sự nào để các nền tảng video ngắn làm như vậy và lợi nhuận đang bị đe dọa, điều đó dường như khó xảy ra — nhưng cho đến lúc đó, những kẻ lừa đảo AI sẽ tiếp tục tận dụng bất kỳ ai cắn câu.