28.07.2025
1 хв
785
Кіберзлочинці почали використовувати електронні листи не лише для обману людей, а й для маніпулювання штучним інтелектом. Приховані інструкції можуть змусити ШІ-помічника видати шахрайське повідомлення за важливе завдання, підштовхнути користувача до переказу грошей або інших небезпечних дій.
Фахівці з кібербезпеки Malwarebytes попередили про новий підхід до фішингових атак, у яких головною мішенню стає не сама людина, а ШІ-помічник, що обробляє її повідомлення. Зловмисники використовують техніку prompt injection, тобто впровадження шкідливих інструкцій у контент, який читає штучний інтелект.
Сучасні ШІ-агенти, зокрема Meta Muse, можуть самостійно переглядати вебсторінки, працювати з браузером, заповнювати форми, надсилати електронні листи, керувати розкладом і навіть бронювати подорожі чи столики в ресторанах. Однак разом із такими можливостями з’являються нові ризики, адже програми можуть сприймати сторонній текст як інструкцію до виконання.
У Malwarebytes пояснюють, що навіть уважний користувач, який проігнорував підозрілий лист, може знову зіткнутися з тією самою загрозою після звернення до ШІ-помічника.
«Ви проігнорували підозрілий лист. Не відкрили вкладення, не натиснули на посилання й не відповіли відправнику. А потім попросили свого ШІ-помічника підсумувати вхідні повідомлення», – описують ситуацію дослідники.
Проблема полягає в тому, що приховані інструкції всередині листа можуть вплинути на відповідь асистента. У результаті повідомлення, яке людина правильно визначила як підозріле, повертається до неї вже у вигляді термінової рекомендації від інструмента, якому вона довіряє.
Дослідники Barracuda описали фішингові кампанії, у яких один лист одночасно спрямований проти людини та її ШІ-помічника. Для звичайного користувача повідомлення може виглядати як стандартна робоча кореспонденція із захищеним паролем вкладенням. Сам пароль при цьому вказують безпосередньо в тексті листа.
Такий підхід допомагає зловмисникам обходити частину традиційних механізмів перевірки вкладень. Якщо людина відкриє файл, атака може призвести до викрадення облікових даних або встановлення шкідливого програмного забезпечення.
Водночас усередині того самого листа можуть міститися інструкції, призначені спеціально для штучного інтелекту. Їх приховують у коментарях HTML-коду, невидимому тексті, закодованих даних або за допомогою спеціальних Unicode-символів нульової ширини.
Для людини такі елементи можуть залишатися непомітними, однак ШІ-система потенційно здатна обробити їх разом з основним вмістом повідомлення. Чи потраплять приховані команди до моделі, залежить від того, як конкретний інструмент отримує та обробляє електронні листи.
За словами розробника сервісу перевірки коду ShipItClean Аполло Рейнса (Apollo Raines), головна проблема полягає в нездатності ШІ надійно відокремлювати інформацію для аналізу від команд, які потрібно виконувати.
«Справжня проблема в тому, що модель не може відрізнити текст, який вона повинна прочитати, від інструкцій, яких має дотримуватися», – пояснив Рейнс.
Він наголосив, що очищення вхідних даних від прихованого вмісту є важливим захисним механізмом, але зловмисники постійно знаходять нові способи маскування команд. Тому боротьба з такими атаками потребує захисту не лише на рівні поштових сервісів, а й усередині самих ШІ-систем.
Один із прикладів, описаних Barracuda, стосувався електронного листа з рахунком на оплату. Усередині повідомлення зловмисники розмістили прихований блок тексту, який наказував ШІ-помічнику додати до підсумку фальшиве пріоритетне завдання зі зміни платіжних реквізитів постачальника.
Якщо асистент виконає таку інструкцію, співробітник компанії може отримати рекомендацію змінити банківські дані контрагента й переказати кошти на рахунок зловмисників. При цьому шахрайська вимога виглядатиме не як частина підозрілого листа, а як порада самого ШІ.
«Зловмисник не просто просить ШІ повторити шахрайський запит. Він намагається перетворити цей запит на рекомендацію самого помічника», – пояснили в Malwarebytes.
Небезпека зростає, якщо ШІ-агент має розширені дозволи та може не лише аналізувати повідомлення, а й самостійно виконувати дії. Залежно від доступних функцій і захисних механізмів приховані інструкції можуть використовуватися для спроб несанкціонованих операцій або розкриття конфіденційних даних.
Фахівці зазначають, що атаки із впровадженням шкідливих інструкцій уже відбуваються, а поширення ШІ-агентів серед мільйонів користувачів робить цю загрозу дедалі актуальнішою.
У Malwarebytes наголошують, що відмовлятися від використання штучного інтелекту для роботи з поштою не обов’язково. Натомість потрібно уважніше ставитися до рекомендацій асистента та обмежувати його можливості відповідно до завдань, які він виконує.
Особливу увагу радять приділяти операціям, пов’язаним із грошима, зміною платіжних реквізитів або передаванням конфіденційної інформації. Якщо ШІ-помічник пропонує оплатити рахунок чи змінити банківські дані, необхідно перевірити оригінальне повідомлення та підтвердити запит через незалежний, заздалегідь відомий канал зв’язку.
«Вимагайте підтвердження людини для дій із серйозними наслідками, таких як платежі та зміни платіжних реквізитів постачальників. Підтвердження має передбачати перевірку початкового запиту, а не лише прийняття рекомендації помічника», – рекомендують у Malwarebytes.
Крім того, експерти радять не надавати ШІ-асистентам зайвих дозволів. Наприклад, інструменту для підсумовування електронних листів не потрібен повний доступ до фінансових операцій або керування сторонніми сервісами.
Фахівці також звертають увагу на необхідність очищення вхідного контенту, виявлення прихованих команд, ізоляції ШІ-агентів, перевірки їхніх відповідей та контролю потенційно небезпечних дій.
Поширення ШІ-помічників змінює підхід кіберзлочинців до фішингу. Тепер їм не обов’язково переконувати людину відкрити шкідливий лист: достатньо спробувати вплинути на програму, яка читає повідомлення замість неї. Саме тому захист електронної пошти дедалі більше залежить не лише від уважності користувачів, а й від того, наскільки безпечно ШІ обробляє сторонню інформацію.
