21.03.2026
1 хв
750
Дослідники попереджають, що галюцинації AI вже становлять реальну загрозу для кібербезпеки. Помилки великих мовних моделей можуть спричиняти хибні рішення, відкривати нові можливості для атак і створювати ризики для організацій.
Галюцинації штучного інтелекту створюють серйозні ризики під час ухвалення рішень у сфері кібербезпеки та захисту критичної інфраструктури. Проблема полягає в тому, що моделі можуть видавати неправильні відповіді з високою впевненістю, через що користувачі сприймають їх як достовірні. Коли штучному інтелекту бракує інформації або впевненості, він не повідомляє про це, а натомість формує найбільш імовірну відповідь на основі закономірностей, засвоєних під час навчання. Саме тому навіть помилкові результати можуть виглядати переконливо й становити небезпеку під час прийняття важливих рішень.
Згідно з бенчмарком AA-Omniscience від Artificial Analysis, під час оцінювання 40 моделей штучного інтелекту у 2025 році всі протестовані моделі, окрім чотирьох, частіше давали впевнену неправильну відповідь на складні запитання, ніж правильну. Оскільки AI дедалі активніше використовується в кібербезпеці, експерти рекомендують розглядати будь-яку відповідь моделі як таку, що потребує перевірки людиною, перш ніж вона стане основою для важливих рішень.
Галюцинації AI — це відповіді, які звучать логічно й переконливо, але насправді містять помилки або повністю вигадані факти. Великі мовні моделі не перевіряють інформацію на достовірність. Вони формують відповіді, прогнозуючи найбільш імовірне продовження тексту на основі даних, на яких були навчені. Саме тому моделі можуть вигадувати джерела, неіснуючі дослідження, статистику чи цитати й подавати їх так само впевнено, як і реальні факти.
Для організацій головна небезпека полягає не лише в неточностях, а й у тому, що відповіді AI часто виглядають абсолютно достовірними. Через це співробітники можуть сприймати їх як перевірену інформацію та діяти без додаткової перевірки. У сфері кібербезпеки така довіра може призвести до неправильних рішень, запуску небезпечних автоматизованих процесів, фінансових втрат або навіть появи нових вразливостей.
Першим кроком до зменшення ризику галюцинацій є розуміння причин їх виникнення. Найпоширенішими факторами є:
Недосконалі навчальні дані. Якщо модель навчалася на застарілій, неповній або помилковій інформації, ці недоліки можуть проявлятися і в її відповідях.
Упередженість даних. Якщо певні сценарії або шаблони надто широко представлені в навчальних даних, модель може застосовувати їх навіть тоді, коли вони не відповідають реальному контексту.
Відсутність перевірки фактів. Великі мовні моделі створені для генерації правдоподібного тексту, а не для підтвердження достовірності кожного твердження. Навіть використання додаткових механізмів пошуку чи перевірки інформації не усуває цю проблему повністю.
Нечіткі запити. Чим менш конкретно сформульоване запитання, тим більше модель змушена “домислювати” інформацію, що значно підвищує ризик помилкових відповідей.
Не кожна галюцинація AI має однакові наслідки, однак навіть одна неправильна відповідь може створити серйозні ризики для організації. Найчастіше вони проявляються у трьох формах.
Системи виявлення загроз на базі AI аналізують закономірності та аномалії, спираючись на історичні дані. Якщо атака схожа на вже відомі сценарії, модель зазвичай успішно її розпізнає. Проте нові або недостатньо представлені методи атак можуть залишитися непоміченими.
Особливо це стосується атак нульового дня, які використовують невідомі раніше вразливості. Оскільки подібних прикладів немає у навчальних даних, моделі часто не мають достатнього контексту для їх виявлення, що підвищує ризик компрометації систем.
AI також може помилково визначати звичайну активність як небезпечну та повідомляти про загрози, яких насправді не існує. Наприклад, нормальний мережевий трафік може бути класифікований як підозрілий, що призведе до запуску процедур реагування без реальної потреби.
Такі хибні спрацювання здатні спричинити простої систем, перевантажити команди безпеки та змусити їх витрачати ресурси на неіснуючі інциденти. Якщо це повторюється регулярно, фахівці починають менше довіряти сповіщенням, через що існує ризик пропустити вже справжню атаку.
Це одна з найнебезпечніших форм галюцинацій AI. Наприклад, модель може впевнено рекомендувати видалити важливі файли, змінити критичні налаштування системи або вимкнути правила брандмауера. Якщо такі рекомендації будуть виконані, особливо з використанням привілейованих облікових записів, вони можуть відкрити шлях для атак, спричинити втрату даних або створити нові вразливості.
Навіть якщо AI правильно визначив загрозу, його помилкові рекомендації щодо реагування можуть перетворити локальний інцидент на масштабне порушення безпеки.
Повністю усунути галюцинації сучасних моделей неможливо, однак їхній вплив можна значно зменшити за допомогою правильної організації роботи.
Жодна відповідь AI не повинна автоматично запускати критично важливі або привілейовані операції без перевірки людиною. Особливо це стосується змін конфігурації інфраструктури, управління доступом і реагування на інциденти. Висока впевненість моделі ще не означає, що її відповідь є правильною.
Галюцинації часто пов’язані з якістю даних, на яких навчається AI. Регулярне очищення навчальних наборів від застарілої, неточної або упередженої інформації допомагає зменшити кількість помилок. Додаткову проблему створює стрімке зростання обсягу контенту, який уже був згенерований іншими моделями AI. Якщо нові моделі навчатимуться на такому матеріалі, ризик накопичення помилок лише зростатиме.
Системам AI слід надавати лише ті права доступу, які необхідні для виконання конкретних завдань. Наприклад, якщо модель повинна лише аналізувати файли, вона не повинна мати можливості їх видаляти або змінювати. Такий підхід значно обмежує потенційні наслідки помилкових рекомендацій.
Якість відповідей AI значною мірою залежить від того, наскільки чітко сформульований запит. Неконкретні або двозначні промпти змушують модель заповнювати прогалини власними припущеннями, що підвищує ризик галюцинацій. Саме тому організації повинні навчати співробітників правильно формулювати запити та завжди перевіряти відповіді AI перед використанням у роботі.
Найбільшу небезпеку становлять не самі галюцинації AI, а ситуації, коли система має достатньо прав для виконання помилкових команд або коли люди беззастережно довіряють її відповідям. Саме тому експерти рекомендують надавати AI лише мінімально необхідні привілеї, не дозволяти йому самостійно виконувати критично важливі операції та обов’язково перевіряти всі рекомендації перед їх застосуванням. Такий підхід значно знижує ризик того, що звичайна помилка моделі переросте у повноцінний інцидент кібербезпеки.
