12.01.2024
1 хв
816
Штучний інтелект і машинне навчання допомагають швидше знаходити повідомлення про шкоду цивільному населенню України в Telegram. Такий підхід прискорює OSINT-дослідження, перевірку інформації та документування наслідків російських атак.
Між лютим 2022 року та вереснем 2025 року дослідники й волонтери зібрали, геолокували та задокументували понад 2500 випадків, пов’язаних із жертвами серед цивільного населення після початку повномасштабного вторгнення росії в Україну.
Під час цієї роботи було протестовано нову модель машинного навчання, яка ранжує публікації в Telegram за ймовірністю того, що вони містять інформацію про випадки шкоди цивільному населенню.
Такий підхід суттєво скоротив час, необхідний для пошуку та відбору релевантних повідомлень. Завдяки цьому дослідники змогли приділяти більше уваги перевірці та документуванню інцидентів, а не їх пошуку.
У матеріалі детально описано методологію, етичні аспекти використання такого підходу та висновки, які можуть стати у пригоді дослідникам, журналістам і фахівцям, що працюють із подібними темами.
Дослідження шкоди, завданої цивільному населенню за допомогою відкритих джерел (OSINT), досі залишається відносно новою сферою. Одним із найбільших викликів є необхідність швидко опрацьовувати величезний обсяг користувацького контенту, щоб знаходити дійсно важливі повідомлення.
Саме тут машинне навчання може значно підвищити ефективність роботи. Алгоритми аналізують великі масиви даних, виявляють закономірності та допомагають автоматично відбирати найбільш релевантний контент.
З огляду на триваючі війни, які призводять до значних жертв серед цивільного населення в Україні, Судані та країнах Близького Сходу, ця методика може стати корисним прикладом того, як машинне навчання допомагає швидше знаходити та сортувати повідомлення про наслідки збройних конфліктів.
Під поняттям «шкода цивільному населенню» маються на увазі не лише загибель або поранення мирних жителів. До нього також належать психологічні травми, вимушене переміщення, втрата засобів до існування, руйнування цивільної інфраструктури та інші довгострокові наслідки війни.
Кожна публікація в Telegram, яка містила підтверджений випадок шкоди цивільному населенню та була перевірена дослідниками, увійшла до початкового набору даних. У машинному навчанні такі записи називають позитивними прикладами. Загалом було зібрано 5848 унікальних URL-адрес таких публікацій.
Під час ручного збору даних дослідники щодня переглядали повідомлення у відповідних Telegram-каналах у хронологічному порядку — від найстаріших до найновіших. Якщо певний допис підтверджувався як такий, що містить інформацію про шкоду цивільному населенню, вважалося, що повідомлення до та після нього вже були переглянуті й не містили релевантних інцидентів.
Тому для кожного підтвердженого випадку додатково відбирали десять сусідніх публікацій, які використовувалися як приклади повідомлень без ознак шкоди цивільному населенню. Після видалення дублікатів і недоступних записів було сформовано набір із 48 545 публікацій, які класифікувалися як негативні приклади.
Переважання негативних прикладів навмисно відображає реальні умови, адже повідомлення про шкоду цивільному населенню становлять лише невелику частину всього контенту. Крім того, це дозволяє покращити якість навчання моделі машинного навчання.
Для кожної URL-адреси також збиралися метадані через API Telegram, зокрема час публікації, текст повідомлення, реакції та інша доступна інформація. Якщо окремі публікації були видалені, відсутні дані відновлювалися за допомогою попередньо збережених архівних копій, якщо вони були доступні.
Для навчання моделі машинного навчання потрібні числові дані, адже саме на їх основі алгоритми виконують математичні обчислення та прогнозують результат.
Щоб отримати такі дані, інформацію з початкового набору – наприклад, ключові слова, які можуть свідчити про шкоду цивільному населенню, – було перетворено на числові показники, або ознаки. Саме їх модель використовує для пошуку закономірностей і подальшої класифікації повідомлень.
Цей процес називається інженерією ознак (feature engineering). Він допомагає підвищити точність моделі, оскільки дозволяє поєднати математичний аналіз із практичними знаннями експертів про предмет дослідження.
Повний перелік ознак, використаних під час навчання моделі, наведено в коді, опублікованому разом із дослідженням. Значна частина цих ознак була сформована на основі практичного досвіду дослідників, які вручну аналізували Telegram-канали, перевіряли кожну публікацію та визначали повідомлення, що містили інформацію про шкоду цивільному населенню.
Деякі ознаки формувалися безпосередньо з метаданих кожної публікації в Telegram. Серед них – тип медіафайлу, день тижня, а також інформація про те, чи було повідомлення переслане, відредаговане або опубліковане як відповідь на інший допис.
Також враховувалися показники взаємодії користувачів із публікаціями: кількість переглядів, пересилань, загальна кількість реакцій і навіть використання окремих емодзі. Наприклад, модель окремо аналізувала, як часто під повідомленнями зустрічалася реакція.
Щоб врахувати досвід, отриманий під час ручного аналізу Telegram-каналів, було сформовано список ключових слів українською та російською мовами, які можуть вказувати на повідомлення про шкоду цивільному населенню. До таких слів, зокрема, належать «Шахед» і «КАБ». Для кожного повідомлення модель підраховувала, як часто ці слова зустрічаються в тексті.
Крім цього, використовувався набір англомовних ключових фраз, пов’язаних із наслідками війни, наприклад «injured» («поранений»), «school hit» («уражена школа») або «hospital hit» («уражена лікарня»). Вони застосовувалися не для пошуку за словами, а для аналізу схожості змісту повідомлень.
Для цього використовувався метод семантичної подібності, який дозволяє визначити, наскільки близькими за змістом є слова або цілі фрази.
Спочатку текст кожної публікації та ключові слова перетворювалися на числові представлення – вектори – за допомогою моделі обробки природної мови. Після цього між ними обчислювалася косинусна подібність – один із найпоширеніших методів оцінки схожості двох текстів. Чим вищий отриманий показник, тим більш імовірно, що публікація стосується шкоди цивільному населенню.
Оскільки модель працює з векторними представленнями тексту, рівень семантичної схожості оцінюється за шкалою від -1 до 1. Значення, близькі до 1, означають, що слова або фрази мають схоже значення, тоді як показники, близькі до -1, свідчать про відсутність смислового зв’язку.
Наприклад, слова «hurt» («постраждалий») і «injured» («поранений») матимуть високий показник схожості. Натомість «residential» («житловий») та «injured» («поранений») отримають низький або навіть від’ємний результат, оскільки їхні значення не пов’язані між собою.
Щоб модель могла оцінити, наскільки кожна публікація стосується шкоди цивільному населенню України, увесь текст повідомлення перетворювався на вектор із 768 числових значень за допомогою багатомовної мовної моделі сімейства BERT. Такий підхід дозволяє алгоритму працювати з різними мовами та розуміти зміст тексту, а не лише окремі слова. Наприклад, однакове речення українською, англійською чи іншою мовою матиме дуже схожі векторні представлення.
Водночас у першій версії моделі аналізувалися лише текстові дані. Ознаки, отримані з фотографій або відео, не використовувалися, хоча їхнє додавання в майбутньому може суттєво підвищити точність роботи системи.
Після підготовки набору даних, який містив 54 393 записи та 893 числові ознаки для кожного з них, було обрано чотири алгоритми машинного навчання для навчання моделей.
Як базову модель використали логістичну регресію – один із найпростіших і найзрозуміліших алгоритмів класифікації. Крім неї, тестувалися ще три сучасні моделі: Random Forest, XGBoost та LightGBM.
Вибір саме цих алгоритмів пояснюється двома факторами: вони добре працюють із табличними даними такого обсягу та дозволяють зрозуміти, які саме ознаки найбільше впливають на результат. Натомість нейронні мережі не використовувалися, оскільки їх значно складніше інтерпретувати, а найкращі результати вони зазвичай демонструють на набагато більших наборах даних.
Щоб об’єктивно оцінити точність моделей, увесь набір даних розділили на три частини:
Навчальний набір – 60% даних, які використовувалися для навчання моделей.
Валідаційний набір – 20% даних, призначених для проміжної оцінки та налаштування параметрів моделей.
Тестовий набір – решта 20% даних, які моделі не бачили під час навчання. Саме вони використовувалися для фінальної перевірки точності.
Під час поділу даних застосовувався стратифікований розподіл, а не випадковий. Такий підхід забезпечує однакове співвідношення позитивних і негативних прикладів у всіх трьох наборах. У цьому випадку частка підтверджених повідомлень про шкоду цивільному населенню залишалася приблизно на рівні 11%.
Під час навчання моделі налаштовувалися так, щоб максимізувати показник PR-AUC (середню точність) – метрику, яка узагальнює точність на всіх рівнях повноти. Хоча вона також враховує точність, основний акцент робиться саме на повноті. Для цього дослідження такий підхід є доцільнішим, оскільки дозволяє зменшити кількість пропущених повідомлень про шкоду цивільному населенню.
У наведеній нижче таблиці моделі відсортовані від найкращої до найгіршої за значенням PR-AUC із порівнянням із базовим рівнем випадкового класифікатора. Також наведено ще два показники оцінки – ROC-AUC та F1.
ROC-AUC показує, наскільки добре модель розрізняє позитивні та негативні приклади.
F1 поєднує показники точності та повноти в одну метрику й оцінюється для оптимально підібраного порога класифікації.
За результатами оцінювання XGBoost було обрано як фінальну модель, оскільки саме вона продемонструвала найкращі результати за всіма основними показниками.
Оскільки ці моделі є інтерпретованими, можна визначити, які саме характеристики найбільше впливають на прогноз того, чи містить публікація інформацію про шкоду цивільному населенню. У таблиці нижче наведено десять найважливіших характеристик, які модель XGBoost використовувала під час ухвалення рішення.
semantic_keywords_similarity – семантична схожість між текстом допису та вручну підібраними ключовими словами, пов’язаними з жертвами, пошкодженнями та шкодою цивільному населенню.
BERT – семантичні представлення тексту, що дозволяють моделі розпізнавати зміст повідомлення. Одразу три ознаки, побудовані на основі BERT, увійшли до десятки найважливіших.
reaction_crying_face – кількість реакцій із емодзі заплаканого обличчя під публікацією.
group_of_messages – ознака того, що публікація містить кілька медіафайлів.
keywords_in_text – кількість українських або російських ключових слів, пов’язаних із темою шкоди цивільному населенню.
Загалом ці результати відповідають очікуванням. Найчастіше повідомлення про шкоду цивільному населенню містили характерні ключові слова та викликали сильну емоційну реакцію аудиторії. Водночас не всі моделі визначали однакові характеристики як найважливіші. Наприклад, для моделі Random Forest головною ознакою виявилася кількість емодзі із заплаканим обличчям у реакціях на публікацію – закономірність, на яку дослідники звернули увагу ще під час розроблення цієї методики.
Після завершення основного дослідження було вирішено протестувати вибірку з того самого тестового набору даних за допомогою різних великих мовних моделей (LLM), щоб оцінити їхню здатність робити аналогічні прогнози.
Метою було перевірити, чи можна використовувати оцінку, згенеровану LLM, як додаткову характеристику для вже навчених моделей, якщо вона достатньо добре корелює з правильними прогнозами.
Для тестування обрали дві локальні моделі – Gemma 3 1B і Gemma 3 4B від Google DeepMind, а також дві хмарні – Gemini 2.5 Flash і Gemini 3.5 Flash. Такий вибір дозволив порівняти результати моделей із різним рівнем продуктивності.
Для оцінювання сформували стратифіковану вибірку з 400 повідомлень, зберігши ту саму частку реальних випадків шкоди цивільному населенню, що й у тестовому наборі даних для навчених моделей. Для кожної з чотирьох LLM провели два тести. У першому моделі отримували лише текст повідомлення Telegram, а в другому – текст разом із підготовленими характеристиками, за винятком текстових векторних представлень, оскільки моделі й безпосередньо аналізували текст. У кожному випадку модель повертала оцінку від 0 до 1, після чого результати оцінювали за тією самою методикою, що й для навчених моделей.
Наведена вище таблиця показує, що LLM справді здатні використовувати розроблені характеристики для покращення прогнозів. Усі чотири моделі перевершили базову логістичну регресію, однак жодна з них не показала кращих результатів, ніж спеціально навчені моделі. Найкраще значення PR-AUC продовжила демонструвати XGBoost.
Водночас Gemini 2.5 Flash показала кращі результати, ніж новіша Gemini 3.5 Flash, і навіть досягла трохи вищого максимального значення F1, ніж будь-яка інша модель. Попри це, для виявлення повідомлень про шкоду цивільному населенню саме PR-AUC залишається найважливішим показником, оскільки він найкраще відображає здатність моделі знаходити рідкісні випадки, водночас мінімізуючи кількість хибнопозитивних результатів.
Використання автоматизованої системи для виявлення повідомлень про шкоду цивільному населенню неминуче пов’язане з етичними питаннями. До них належать упередженість автоматизації, коли люди схильні надмірно довіряти рекомендаціям алгоритму, а також алгоритмічна упередженість, за якої модель відтворює закономірності навчальних даних, зокрема недостатньо або надмірно представляючи окремі типи шкоди.
Рішення протестувати автоматизовану методологію було зумовлене браком ресурсів як для виявлення потенційних випадків шкоди цивільному населенню, так і для їх подальшої перевірки. Історично накопичилася велика кількість неперевірених інцидентів, оскільки значна частина часу витрачалася на оперативний моніторинг подій, щоб потенційні докази були зібрані та збережені якомога швидше.
Автоматизація цього процесу також дала змогу зменшити контакт дослідників із великим обсягом тривожного текстового та візуального контенту, тим самим знизивши ризик постійного впливу травматичних матеріалів.
Для зменшення етичних ризиків у цьому проєкті застосували низку підходів. Зокрема, випадковим чином перевірялися публікації, які не були відібрані жодною моделлю, аналізувалися характеристики, на які спиралися моделі під час ухвалення рішень, а також проводилися історичні порівняння закономірностей у даних.
Крім того, у початковій версії моделі не використовувалися характеристики, отримані безпосередньо з медіаконтенту. Хоча додавання зображень і відео могло б підвищити точність моделі, використання штучного інтелекту для аналізу такого контенту створює додаткові етичні виклики, зокрема ризик упередженості моделей.
Окремі етичні питання виникають і під час використання LLM. Через непрозору структуру власності багатьох компаній, що їх розробляють, а також генеративний характер таких моделей, їх застосування пов’язане з ризиками для конфіденційності та безпеки даних, особливо коли йдеться про чутливу інформацію. Саме тому основна модель не використовувала LLM під час роботи, а їх оцінювання проводилося лише ретроспективно.
Після вибору моделі було створено інтерфейс, у якому дослідники могли переглядати публікації Telegram, відсортовані за ймовірністю того, що вони містять інформацію про шкоду цивільному населенню. Інтерфейс був розроблений для швидкої обробки та інтеграції з іншими інструментами. Після підтвердження дослідником публікація автоматично надсилалася до Auto Archiver – інструмента Bellingcat для збереження цифрового контенту, а потім передавалася до ATLOS – внутрішньої платформи спільної перевірки. Після цього співробітники та волонтери Bellingcat могли вручну перевіряти інциденти. Усі рішення дослідників зберігалися, щоб надалі використовувати їх для вдосконалення моделі.
Попередні результати показали, що модель виявилася корисною. Вона не лише скоротила час, необхідний для перегляду десятків Telegram-каналів із військовими повідомленнями, а й допомогла зменшити навантаження на дослідників. Водночас нові публікації, які потрапляли до черги на перевірку, дійсно містили різноманітні випадки шкоди цивільному населенню.
Автори зазначають, що модель все ще перебуває в розробці та має значний потенціал для вдосконалення. Попри перспективні результати, перед її повноцінним використанням необхідні подальше тестування, удосконалення характеристик моделі та постійна оцінка її роботи.
Хоча система створювалася для виявлення повідомлень про шкоду цивільному населенню в Telegram – платформі, яка є дуже популярною в Україні та росії, – її архітектура є універсальною й може бути адаптована до інших завдань моніторингу конфліктів. Наскільки легко це зробити, залежить від відкритості конкретної соціальної платформи та можливості отримувати з неї публікації. Водночас система дає змогу легко додавати нові характеристики та джерела даних, а також автоматично перенавчати, тестувати й розгортати моделі в міру накопичення нових перевірених даних.
У майбутньому аналіз величезних обсягів інформації під час збройних конфліктів залишатиметься складним завданням. Автори сподіваються, що запропонована методологія допоможе редакціям, організаціям із моніторингу конфліктів та іншим командам ефективніше поєднувати етичні вимоги й наявні ресурси під час проведення OSINT-розслідувань, пов’язаних зі шкодою цивільному населенню та порушеннями прав людини.
