19.06.2024
2 хв
1055
У жовтні 2024 року платформа OpenDream, яка спеціалізується на генерації зображень за допомогою штучного інтелекту, опинилася у центрі скандалу через поширення незаконного контенту, зокрема матеріалів сексуального насильства над дітьми (CSAM). Дізнайтеся більше про проблеми етики та законодавства у сфері генеративних AI-технологій, щоб зрозуміти, як такі інциденти впливають на індустрію та суспільство в цілому.
На перший погляд, OpenDream виглядає як одна з багатьох платформ для створення зображень за допомогою штучного інтелекту, що дозволяє користувачам генерувати зображення, вводячи текстові описи бажаного результату. Сайт рекламує себе як «генератор штучного інтелекту», запрошуючи людей досліджувати «безмежні творчі можливості».
Проте за певний час на платформі з’явилися матеріали сексуального характеру, які могли б викликати занепокоєння через їхній зміст. Виявилося, що ці зображення залишалися видимими на загальнодоступних сторінках OpenDream, що поставило питання про необхідність більш ефективної модерації.
Деякі публікації про OpenDream на X містили знімок екрана загальнодоступної галереї платформи із зображеннями молодих дівчат поруч із дорослими жінками в бікіні.
Головна сторінка сайту описувала платформу як «генератор AI Art» із досить нешкідливим зображенням у стилі анімації. Однак сторінка загальнодоступної галереї, для перегляду якої не потрібно було входити в систему, була повна зображень сексуального характеру.
За кілька секунд після прокручування було помічено численні зображення маленьких дітей і немовлят у нижній білизні чи купальниках, створених штучним інтелектом. Підказки, використані для створення цих зображень – які також були загальнодоступними – чітко демонстрували намір створити сексуалізовані зображення дітей.
На додаток до CSAM, виявилося, що OpenDream не накладає жодних обмежень на створення без згоди дипфейків знаменитостей. Гортаючи галерею, було знайдено зображення в бікіні відомих веб-стрімерів, політиків, співачок і акторок.
Архівні версії галереї на Wayback Machine показують, що OpenDream відображав AI CSAM і неконсенсуальні дипфейки ще в грудні 2023 року.
Після пошуку назви платформи в популярних пошукових системах, таких як Google і Bing, було виявлено, що більшість результатів зображень також були зображеннями сексуального характера.
Хоча OpenDream не так широко використовується, як деякі інші платформи генерації зображень штучного інтелекту, і це не перший випадок, коли люди використовують штучний інтелект для генерації CSAM, ступінь, до якої такий матеріал був доступний для громадськості без будь-якої очевидної модерації.
Наприкінці липня 2024 року на платформі почали з’являтися перші спроби модерації. На момент публікації порнографічні зображення, включаючи ті, що використовували технології глибоких підробок, здається, були видалені або закриті для перегляду. Причини раптового очищення контенту залишаються незрозумілими, враховуючи, що раніше такі матеріали залишалися без модерації щонайменше півроку.
OpenDream отримує дохід як через підписки, так і за допомогою реклами. Хоча користувачі можуть створювати кілька зображень щодня безкоштовно, платформа також пропонує платні плани.
У липні 2024 року найдорожчі підписки включали можливість використовувати NSFW-підказки (контент, який вважається неприйнятним для перегляду в робочих умовах), доступ до спеціальних моделей NSFW та функцію приховування створених зображень із загальнодоступної галереї. NSFW є терміном, що охоплює контент сексуального характеру, насильство або інші тривожні зображення. На платформі найчастіше зустрічалися зображення, що мали сексуальний характер.
Станом на момент публікації згадки про загальнодоступні моделі NSFW були видалені з інформації про ціни. Водночас платні плани все ще надавали доступ до NSFW-підказок.
До недавнього часу платежі на платформі оброблялися компанією Stripe. Однак наприкінці липня 2024 року платіжний екран Stripe для OpenDream перестав працювати. Політика Stripe забороняє обробку платежів за порнографічний контент, включно з CSAM та несанкціонованими дипфейками, і компанія раніше припиняла співпрацю з іншими сайтами, пов’язаними зі штучним інтелектом, через подібний контент.
Згідно з архівними даними Wayback Machine, OpenDream розпочав свою діяльність як безкоштовний бета-продукт на початку 2023 року. Сторінка з цінами вперше з’явилася у липні 2023 року, проте тоді вона не містила згадок про NSFW-підказки чи моделі. Водночас функції, які дозволяли використовувати підказки NSFW і моделі NSFW, були запроваджені до грудня 2023 року. Приблизно в цей самий період в архівних версіях сторінки галереї почали з’являтися матеріали, які могли бути спробами генерувати контент із сумнівною етичною складовою.
Також на платформі було помічено рекламу через Google AdSense. Одна з осіб, яка, ймовірно, має стосунок до OpenDream, Нгуєн В’єт Хай, поділився деталями доходів платформи від реклами та підписок у Facebook-групах, присвячених штучному інтелекту, у жовтні 2023 року та квітні 2024 року.
У публікаціях, зроблених обліковим записом під іменем Нгуєна В’єт Хая, зазначалося, що OpenDream планується продати через фінансові труднощі. У цих публікаціях також повідомлялося, що платформа заробляла приблизно 2000–3000 доларів США на місяць, зокрема близько 800–1000 доларів США щомісяця від реклами.
У повідомленнях за жовтень 2023 року йшлося про те, що на платформі було 310 користувачів з активними платними підписками. Згідно з публікацією від квітня 2024 року, яка містила знімок екрана з інформаційної панелі Google AdSense для домену OpenDream, за період із 1 січня по 31 березня 2024 року платформа заробила 2404,79 доларів США (або 59 282 192 в’єтнамських донга) завдяки програмній рекламі Google.
Політика Google AdSense забороняє контент відверто сексуального характеру, включно з матеріалами, що містять сцени без згоди, такими як CSAM, у будь-якому вигляді — реальному чи імітованому. У вересні 2024 року Google повідомила, що обліковий запис AdSense, пов’язаний із OpenDream, був заблокований через порушення цих правил.
У публікаціях про продаж OpenDream зазначалося, що компанія має податкові пільги протягом наступних трьох років і налаштовану платіжну систему Stripe. Сінгапурська політика передбачає звільнення новозареєстрованих компаній від податків на прибуток протягом перших трьох років діяльності.
Згідно з офіційними даними бізнес-реєстру Сінгапуру, компанія CBM Media Pte Ltd, пов’язана з OpenDream, була зареєстрована 13 червня 2023 року. У жовтні 2023 року Нгуєн В’єт Хай оцінював продаж OpenDream у 30 000 доларів США, але в квітні 2024 року підвищив ціну до 50 000 доларів США (або 1,23 мільярда в’єтнамських донгів). Інформація про те, чи був продаж завершений, наразі відсутня.
У всьому світі законодавство, спрямоване на криміналізацію CSAM, створеного штучним інтелектом, значно відстає від швидкого зростання платформ NSFW, що використовують технології штучного інтелекту.
У США та Великій Британії CSAM, створене за допомогою ШІ, вважається незаконним і прирівнюється до реального CSAM. У серпні 2024 року Каліфорнія подала безпрецедентний позов проти великих платформ, які створюють несанкціоновані дипфейки, зокрема CSAM. Це стало важливим юридичним прецедентом для компаній, що пропонують послуги ШІ, які можуть використовуватися для створення такого контенту. ЄС також розглядає нові закони для регулювання ШІ-допоміжних дипфейків та CSAM. Водночас у деяких країнах, таких як Японія, відсутнє чітке законодавство, яке забороняло б поширення синтетичного сексуального контенту із зображенням неповнолітніх, якщо це не стосується реальних дітей.
OpenDream став одним із найпомітніших прикладів ШІ-платформи, на якій був створений контент CSAM, однак він не єдиний. Багато інших платформ штучного інтелекту також використовувалися для генерації несанкціонованих дипфейків із зображенням дорослих і неповнолітніх.
За даними Internet Watch Foundation (IWF), головний технічний директор організації Ден Секстон заявив, що створення AI CSAM є значною загрозою для безпеки в Інтернеті. Він наголосив, що навіть якщо такі зображення є синтетичними, вони можуть сприяти нормалізації подібної поведінки, і це є небезпечним явищем. Секстон також зазначив, що існує ймовірність, що моделі для створення таких зображень могли бути навчені на реальних матеріалах, що лише посилює проблему.
За звітом IWF за липень 2024 року, більшість створеного ШІ CSAM настільки реалістичні, що їх можна прирівняти до реальних матеріалів CSAM. Удосконалення технологій ШІ лише ускладнює боротьбу з цією проблемою.
Контент, створений на платформі OpenDream, був доступний не лише через сам сайт, але також індексувався пошуковими системами, такими як Google і Bing. Пошукові запити за ключовими словами «Opendream» і «Opendream AI» призводили до повернення зображень із синтетичними сексуальними зображеннями неповнолітніх. Більшість із них включали зображення дітей у бікіні або навіть оголених.
На запитання щодо появи зображень OpenDream AI CSAM у результатах пошуку Bing, представник Microsoft зазначив, що компанія має «тривале зобов’язання покращувати безпеку дітей та боротися із сексуальним насильством і експлуатацією дітей в Інтернеті».
Представник додав, що вжито заходів для видалення цього контенту та посилення заходів захисту на їхніх платформах.
Аналогічно, представник Google заявив, що пошукова система має «надійні механізми для обмеження доступу до контенту, що зображує або сексуалізує неповнолітніх, включаючи синтетичні зображення, створені за допомогою ШІ».
За його словами, Google активно виявляє, видаляє і повідомляє про такий контент, а також застосовує додаткові заходи для фільтрації та зниження рейтингу матеріалів, які сексуалізують дітей.
І Bing, і Google видалили зображення CSAM, створені OpenDream, із результатів своїх пошукових систем після вжитих заходів щодо цього контенту.
У бізнес-реєстрі Сінгапуру Нгуєн В’єт Хай зазначений як пов’язаний із компанією CBM Media Pte Ltd, яка також згадувалася у публікаціях про продаж OpenDream. Водночас було виявлено, що інші особи також мають зв’язок із цією діяльністю.
Кілька користувачів соціальних мереж, які представлялися працівниками компанії CBM або CBM Media, використовували облікові записи під брендом OpenDream. Однак незрозуміло, чи йдеться саме про CBM Media Pte Ltd із Сінгапуру, оскільки також була ідентифікована інша компанія з подібною назвою — CBM Media Company Limited, зареєстрована у столиці В’єтнаму, Ханої, особою на ім’я Буй Дук Куан.
Інтернет-докази свідчать, що власники обох компаній із назвою «CBM Media» могли бути знайомі один з одним. Буй Дук Куан, зареєстрований власник в’єтнамської CBM Media, також раніше згадував про володіння веб-сайтом під назвою CasinoMentor.
Сайт із оглядами азартних ігор, відомий як CasinoMentor, поділився серією історій в Instagram, збережених під назвою «CBM Media». У цих історіях, зроблених у травні 2022 року, показано групу людей, які відпочивали на в’єтнамському острові Лі Сон.
На фотографіях були помічені як Нгуєн В’єт Хай, так і Буй Дук Куан. Їхні обличчя були ідентифіковані та зіставлені з іншими зображеннями, раніше опублікованими на їхніх акаунтах у Facebook.
Кілька інших осіб мають зв’язок із CBM Media та OpenDream відповідно до їхніх публічних профілів.
Наприклад, один із «творців контенту», зазначений у блозі OpenDream як член команди, наразі працює на CasinoMentor, а також на сайт BetMentor, згідно з інформацією у його профілі LinkedIn. BetMentor на своєму веб-сайті вказує CasinoMentor як партнера. Профіль CasinoMentor у Gambling Portal Webmasters Association (GPWA), спільноті, пов’язаній із азартними іграми, також зазначає, що BetMentor належить CasinoMentor.
Ще один профіль LinkedIn належить особі, яка обіймає посаду менеджера з продуктів OpenDream і має попередній досвід роботи у сфері програмування штучного інтелекту для «CBM».
Також було виявлено співробітника CasinoMentor, ім’я якого збігається з ім’ям адміністратора Facebook-групи OpenDream. Ще один профіль Facebook, пов’язаний із цим самим ім’ям, але з іншим псевдонімом, вказує, що його поточним роботодавцем є OpenDream.
Примітно, що більшість співробітників CasinoMentor і BetMentor не використовують справжні фотографії у своїх робочих профілях. У багатьох випадках зображення профілів співробітників BetMentor були створені за допомогою OpenDream.
В одному профілі LinkedIn, що відповідає даним про співробітника CasinoMentor, використовувалося зображення жінки, яка була вбита у Великій Британії у 2020 році. Профіль було створено через рік після вбивства жінки, у 2021 році.
Тим часом адреса CasinoMentor знаходиться в середземноморському штаті Мальта, згідно з його веб-сайтом і сторінкою у Facebook.
У списку Google Maps CasinoMentor власник облікового запису завантажив кілька фотографій офісного приміщення, включно з фотографіями, на яких логотип сайту зображено на стіні з матового скла. Завдяки зворотному пошуку зображень було знайдено ідентичне зображення – за винятком без логотипу – в списку оренди комерційної нерухомості для коворкінгу на Мальті, де розташована адреса.
Більшість фотографій офісних приміщень, які зазначені в профілі Google Maps від CasinoMentor, схоже, були взяті з того самого джерела, що й рекламні списки оренди, із доданим логотипом CasinoMentor та іншою інформацією.
Однак CasinoMentor також завантажив одну фотографію на Google Maps, на якій зображена група людей, серед яких був Буй Дук Куан. Геолокація цього знімка вказує на торгову площу у В’єтнамі. Назва файлу цієї фотографії – «CMTeam».
Наразі невідомо, чи працюють співробітники CasinoMentor у В’єтнамі чи на Мальті, оскільки інформація про їхнє місцезнаходження відсутня. На запити щодо коментарів жодна із залучених компаній, включно з CasinoMentor і BetMentor, не надала відповіді.
Додатково було виявлено публікацію компанії VPNChecked на платформі X, де OpenDream називають «нашим продуктом».
Цікаво, що обліковий запис Reddit під іменем користувача «vpnchecked» був активним модератором субреддиту OpenDream ще в червні.
Контактна інформація на веб-сайті VPNChecked вказала на іншу важливу деталь. В архівній версії сайту за 2021 рік було зазначено номер телефону. Пошук цього номера у Skype дозволив ідентифікувати іншу особу.
Цей же Skype-ідентифікатор використовувався для створення облікового запису Facebook, зображення профілю якого збігалося із попереднім фото профілю Skype. Попри те, що імена в профілях були дещо різними, зв’язок між ними підтвердив збіг фотографій.
Оскільки ця особа не фігурує в документах про право власності на CBM Media Company Limited чи CBM Media Pte Ltd, її ім’я не розкривається. Проте її обліковий запис у Facebook містив посилання на VPNChecked. Виявлено, що ця особа також, імовірно, пов’язана з Буй Дук Куаном і Нгуєн В’єт Хаєм.
Всі троє є друзями у Facebook і часто позначалися разом на фотографіях, що демонструють їхні зустрічі та дружнє спілкування протягом багатьох років. Наприклад, на одному фото, опублікованому Буєм у 2019 році, зображена група, де вони разом піднімають келихи у ресторані. Підпис до фото, перекладений із Facebook, говорить: «Вчимося разом, спілкуємося, кохання за 14 років не змінилося!»
Згідно з публічними профілями в соціальних мережах і публікаціями в блогах, OpenDream належить сінгапурській компанії CBM Media Pte Ltd, пов’язаній із Нгуєном. Розслідування показало, що кілька співробітників OpenDream і модераторів сторінок платформи в соціальних мережах також працюють на сайти, пов’язані з в’єтнамською компанією CBM Media Company Limited, яку очолює Буй. Додатково VPNChecked, компанія, що має зв’язки з особою, близькою до Нгуєна та Буя, називала OpenDream «своїм продуктом».
Однак залишається незрозумілим, наскільки залучені особи знали про те, що користувачі платформи створювали контент, який є незаконним у США, Великій Британії та Канаді — основних ринках OpenDream, згідно з публікаціями Нгуєна у Facebook.
Під час розслідування були спроби зв’язатися з Нгуєном, Буєм та особою, пов’язаною з VPNChecked, за допомогою електронної пошти, телефонних дзвінків і повідомлень у соціальних мережах. Жоден із запитів не отримав відповіді.
OpenDream використовує моделі штучного інтелекту з відкритим кодом, доступні у спільнотах, таких як Hugging Face. Опис деяких моделей зазначає їхні можливості для створення NSFW-контенту.
Представник IWF Ден Секстон наголосив на необхідності розгляду всієї екосистеми, яка сприяє створенню подібного контенту, включаючи доступ до безкоштовних інструментів і моделей з відкритим кодом. Він підкреслив, що закони та регуляторні заходи можна посилити для запобігання створенню таких послуг.
«Ці сервіси не виникли з нізвідки. Існує багато етапів, де можна втрутитися та ускладнити їх створення», — сказав Секстон. Він також зазначив, що для комерційних суб’єктів, які намагаються заробити гроші, складнощі у створенні подібних послуг можуть стати мотивом перейти до іншої діяльності.
Станом на момент публікації OpenDream більше не отримує доходу від реклами Google AdSense через заблокований обліковий запис. Це раніше складало значну частину доходу платформи, згідно з публікаціями Нгуєна. Служба обробки платежів також не працює, однак реклама від інших постачальників усе ще відображається на платформі. Крім того, було помічено, що система оплати перенаправляє користувачів у тестове середовище PayPal, яке лише імітує транзакції та не дозволяє реальні платежі. Політика PayPal забороняє операції, пов’язані з контентом сексуальної спрямованості, що залучає або може здаватися таким, що залучає неповнолітніх.
