21.10.2024
1 хв
1927
OWASP GenAI Security Project — це флагманська ініціатива, що формує глобальні стандарти безпеки генеративного ШІ та LLM-систем. У статті розглянуто OWASP LLM Top-10, де зібрані основні вразливості ІІ-додатків, а також супровідні проєкти: Agentic Initiative, Red Teaming Guide, Security Landscape, Governance Checklist та Center of Excellence. Детально описано новітні підходи до тестування, моделювання загроз і захисту багатокомпонентних агентних систем. Якщо ви впроваджуєте AI або працюєте у сфері безпеки — цей матеріал стане вашим головним орієнтиром у 2025 році.
*27 березня проект був перейменований на The OWASP Gen AI Security Project. Дивіться офіційний анонс тут. Цей проект став флагманським для OWASP, давайте розберемося, що це і чому так сталося.
Що це:
Список десяти найбільш критичних уразливостей у додатках, які використовують великі мовні моделі (LLM).
Запущено у травні 2023 року Стівом Вілсоном* з метою документування основних ризиків LLM-систем.
Навіщо потрібний:
Закриває пробіл між класичною безпекою веб-додатків та специфічними загрозами LLM.
Містить опис типових уразливостей ІІ-систем та поради щодо протидії.
Постійно оновлюється: третя версія Top 10 LLM 2025 вийшла наприкінці 2024 року (були додані вразливості в системах Retrieval-Augmented Generation (RAG), внесені редагування DOS-атак і т.д.).
OWASP LLM Top-10 найчастіше цитують у прикладному середовищі, використовують регулятори країн та інші організації, такі як NIST та MITRE. Якщо ви погуглите вразливості LLM, ви його знайдете. Всередині організації OWASP проект розрісся і тепер набув статусу флагманського. Головний лендинг https://genai.owasp.org, об’єднує інші проекти всередині, про які піде мова нижче.
У проекті використовується механізм відкритого голосування, що дозволяє враховувати досвід ком’юніті, але також вносить суб’єктивні критерії оцінки для конкретних уразливостей і не завжди відображає реальні ризики. Нормальної статистики інцидентів для ІІ-додатків поки що немає, тому це вимушений підхід.
Пізніше Стів Вілсон опублікував книгу з детальним оглядом версії 1.1 LLM Top 10 (літо 2024).
У списку “Top 10” загроз безпеці на першому місці стоять промпт-ін’єкції, проте в експертній спільноті точаться суперечки щодо того, чи вважати це вразливістю. Спробуємо розставити крапки над i. Технічно промпт-ін’єкції – це метод атаки на програми, які використовують LLM. Він дозволяє, наприклад, викрасти системні інструкції або здійснити отруєння системи RAG.
Коли служба безпеки говорить про вразливість до інʼєкцій, мається на увазі, що програма може почати видавати шкідливий або неприйнятний контент. Найчастіше уточнюють та називають такі атаки джейлбрейками. Наприклад, банківський чат-бот замість звичайних депозитів починає рекомендувати клієнтам купівлю криптовалюти, або, що ще гірше, порушує закон. І хоча до класичних проблем кібербезпеки це не призводить, для компанії можуть настати юридичні наслідки, що може призвести до необхідності усунути з релізу genAI-систему. Докладніше про цю дискусію ви можете почитати у блозі Симона Віллісона, який зі своєю легкою рукою і дав назву атаці “промпт-ін’єкція”: https://simonwillison.net/2024/Mar/5/prompt-injection-jailbreaking/
Як зазначив вище, навколо Top-10 for LLM Applications почало з’являтися багато нішевих ініціатив. Розберемо їх різновиди докладніше:
AI Security Solutions Landscape – ландшафт security-продуктів в області GenAI.
Agentic Initiative – документи про безпеку агентних ІІ-систем.
GenAI Red Teaming Guide – великий звіт з практик тестування GenAI.
Governance Checklist – чекіст за видами загроз ІІ-систем для керівників.
Center of Excellence Guide — вибудовування найкращих практик з погляду KPI ІБ-відділів та комунікації з бізнес-дирекціями.
Посилання: https://genai.owasp.org/resource/llm-applications-cybersecurity-and-governance-checklist-english/
Що це:
Звіт з рішень та вендорів у сфері AI-безпеки.
Також у документі є опис LLM SecOps процесу розробки та експлуатації рішень з перерахуванням методик захисту кожної фазі циклу. Оновлювати звіт планують кілька разів на рік.
Використовую цю карту, щоб стежити за новими фічами топових AI Security вендрів, так, наприклад, французький Giskard додав інструменти для автотестування агентних систем, а ZenGuardAI змогли зробити AI Firewall від промпт-атак з latency в 50мс (правда, сам фаєрвол не працює нормально навіть англійською).
Так виглядає карта рішень кінця 2024 року, з нетерпінням чекаємо на апдейтів у 2025.
Додатково в документі ви знайдете опис процесу LLM SecOps та його стадій
Посилання: https://genai.owasp.org/initiatives/#agenticinitiative
Що це:
Дослідницька робоча група безпеки автономних AI-агентів (Agentic AI). Включає близько активних 30 учасників з IBM, Palo Alto Networks, Twillio, Salesforce, META (заборонена в РФ) та ін. Історично виникла під час роботи над LLM Top-10 2025, коли команда не змогла дійти згоди щодо пункту Excessive Agency.
Робота гурту стартувала у грудні 2024 року. Проект не обмежується одним документом, а його мета вивчити, як поява multi agent AI-systems вплине на ландшафт загроз і які несе наслідки для кібербезпеки.
Що таке агентна система:
Агенти приймають природну мову (текстові запити, файли, зображення, аудіо або відео). Реалізація будується на агентних фреймворках, таких як LangChain, LangFlow, AutoGen, Crew.AI та ін.
Для логіки та прийняття рішень використовуються одна або декілька LLM-моделей, локальних чи віддалених.
Взаємодія агентів із сервісами та інструментами можлива через: Виклик функцій та інструментів на рівні фреймворку/програми. Виклик функцій безпосередньо моделлю LLM, яка повертає код виклику агенту.
Додаткові служби інфраструктури агента включають: Зовнішнє сховище для довготривалої пам’яті. Джерела даних, включаючи векторні бази та RAG.
Нижче схематичний приклад архітектури системи з одним агентом:
Архітектура рішення ускладнюється, коли агентів стає багато.
Мультіагентна система. Наочна ілюстрація, що сучасна AI-додаток – це не просто виклик OpenAI API і база з документами, що нарізають на чанки.
Основні напрямки роботи групи Agentic Initiative:
Документ Threats and Mitigations Guide: першу версію опубліковано в лютому, зараз готується версія 1.1.
Репозиторій з helloworld-прикладами агентних систем та кейсами атак: планується до випуску у квітні.
Гайд із захисту агентних додатків: реліз буде навесні.
Фреймворк MAESTRO для моделювання загроз мультиагентних систем від Кена Хуана (автора книги Gen AI Security)
Звіт Agentic Security Landscape (реліз планується влітку), де будуть відображені ключові інциденти та огляд рішень.
Робота над стримами зараз активно йде і в LinkedIn — часто миготять прес-релізи групи, тому при зануренні в матеріал готуйтеся, що читати багато тексту, місцями чорнової якості.
Посилання https://genai.owasp.org/initiatives/#ai-redteaming
Що це:
Гайд із комплексного тестування (Red Teaming) генеративних AI-систем.
Опублікований наприкінці 2024 року, містить близько 50 сторінок. Так як такий обсяг читати складно, робоча група має плани скоротити текст і випустити зручнішу версію в 2025 році.
Детальний опис атак, відповідних датасетів, інструментів. Там навіть є наш Open Source Llamator.
Проєкт очолює Крішна Санкар, і зараз над ним активно працює робоча група. Якщо вам цікаво перевіряти системи зі штучним інтелектом на стійкість і ви хочете поділитися своїми методами або допомогти вдосконалити існуючий посібник, приєднуйтесь — напишіть мені, я підкажу, з чого почати. Пам’ятаю, як за тиждень до релізу команда Red Team Synack зробила цінний внесок, поділившись своїм досвідом тестування реальних проєктів.
Посилання: https://genai.owasp.org/resource/llm-applications-cybersecurity-and-governance-checklist-english/
Що це:
Чекліст ризиків безпеки для керівників ІБ, топ-менеджменту та юристів. Допоможе зрозуміти, що таке AI, які загальні загрози бувають і чим генеративні системи відрізняються від класичних ML-моделей.
Структуровані та практичні рекомендації щодо безпеки, управління та приватності для AI-проектів.
Один із перших AI-проектів OWASP (з’явився у 2023 році). Містить суміш технічних та організаційних заходів, але не дає явної пріорітизації і не завжди вказує на обґрунтування рекомендацій.
Найцікавіше в гайді — це вказівка, що один із головних ризиків для компанії зараз — не впроваджувати її в бізнес процеси. Сьогодні адаптації технологій на базі LLM дають важливу конкурентну перевагу.
Посилання: https://genai.owasp.org/resource/llm-and-generative-ai-security-center-of-excellence-guide/
Що це:
Верхньорівневий документ присвячений практикам впровадження генеративного ІІ, націлений насамперед на ІТ керівників та директорів великих компаній. Мета документа: дати інструменти для створення Security Center of Excellence (назва звучить пишномовно англійською, тому перекладати її не став), яка включає:
Розробка політик для впровадження практик безпеки GenAI.
Ризик-менеджмент під час експлуатації ІІ-систем.
Навчання працівників.
Взаємодія технічних команд та бізнес керівників.
У документі читач побачить приклади допустимих KPI/OKR для ІБ-підрозділів при впровадженні генеративного AI. Нижче наведено зразковий таймлайн запровадження best practice та створення центру експертизи з AI:
На відміну від LLM AI Cybersecurity & Governance Checklist: попередній документ фокусується на списку ризиків більш простою мовою для нетехнічних читачів, а Center of Excellence Guide присвячений вибудову практик безпеки навколо GenAI в компанії.
Посилання https://github.com/OWASP/www-project-llm-verification-standard
Що це:
Стандарт-чекліст, покликаний допомогти проектувати та тестувати програми на базі LLM.
Фокусується на архітектурі, життєвому циклі моделі, інтеграції, моніторингу та виявлення аномалій. Поділяє рекомендації на кшталт компанії: стартапи, компанії середнього розміру та великі корпорації.
У реліз так і не вийшов, у лютому 2024 була опублікована версія 0.0.1.
Наскільки розумію, проект намагалися запустити контриб’ютори за підтримки Snyk та Lakera, але не довели до кінця. Використовуйте рекомендації щодо LLM Sec Ops з AI Security Solutions Landscape.
Ми все ще живемо в реальності, коли нові атаки виходять щомісяця і навряд чи найближчим часом робота різних робочих груп OWASP консолідуватиметься в єдиний документ. Тим не менш, серед прикладних розробників гайди користуються популярністю і багато технічних доповідей та продуктів вендорів AI Security продовжують спиратися на класифікацію загроз OWASP нарівні з NIST, MITRE.
