Використання генеративного штучного інтелекту обходиться Amazon значно дорожче, ніж очікувалося. Усередині компанії дедалі частіше фіксують випадки, коли AI-проєкти багаторазово перевищують бюджет через помилки в коді та відсутність належного контролю за витратами.
За інформацією Financial Times, проблему цього тижня обговорювали старші інженери Amazon під час внутрішньої зустрічі. Вони попередили, що перенесення звичайних програмних процесів на великі мовні моделі призводить до несподівано високих витрат, які складно прогнозувати. Компанія вже працює над автоматизованими механізмами контролю, які мають запобігати подібним перевитратам у майбутніх AI-проєктах.
Один із керівників Amazon визнав, що сьогодні дуже складно реально оцінити вартість роботи генеративного штучного інтелекту.
«Важко зрозуміти, скільки насправді коштує будь-що, пов’язане зі штучним інтелектом», – зазначив він.
Найгучнішим прикладом став внутрішній проєкт, у якому модель Claude Sonnet від Anthropic використовували для зіставлення інформації про авторів із картками товарів на маркетплейсі Amazon.
Проєкт так і не досяг поставленої мети, однак до моменту його закриття компанія вже витратила приблизно 1,8 млн доларів. Це перевищило запланований бюджет на 860%, причому зайві витрати залишалися непоміченими майже п’ять місяців.
Під час внутрішньої наради інженери зазначили, що помилки, які у традиційній розробці коштували б практично нічого, при використанні великих мовних моделей можуть перетворитися на «катастрофічно дорогі». Причина проста: кожен запит до моделі споживає платні токени, а їхня кількість швидко накопичується. Це виявилося не єдиним випадком. Один із проєктів зі створення інструментів фінансового аудиту перевищив бюджет приблизно на 541 тис. доларів.
Ще одна AI-ініціатива, яка мала покращити швидкість доставки в логістичній мережі Amazon, принесла близько 134 тис. доларів незапланованих витрат. Компанія помітила проблему лише через два тижні після її виникнення.
У Amazon не заперечують, що такі випадки мали місце, але наголошують, що вони є частиною процесу впровадження нової технології.
«Як і з будь-якою новою технологією, ми експериментуємо, вивчаємо та вдосконалюємо способи її використання, зокрема те, як ми підвищуємо економічну ефективність», – заявили в компанії.
Водночас Amazon не погоджується з тим, що окремі інциденти свідчать про системну проблему.
«Вибір кількох невеликих ізольованих прикладів, де команди навчаються одна в одної, та представлення цього як звичайної практики не відображає того, як команди Amazon використовують штучний інтелект», – зазначили представники компанії.
Раніше Amazon вже довелося переглядати внутрішню політику використання AI. На початку року компанія закрила внутрішній рейтинг співробітників, побудований на активності в платформі Kiro, після того як він почав стимулювати так зване «токенмаксування», коли працівники навмисно збільшували використання моделей, щоб піднятися в рейтингу.
Попри мільйонні перевитрати, для самої Amazon ці суми залишаються відносно невеликими. Компанія отримує близько 180 млрд доларів квартального доходу, а цього року планує витратити приблизно 200 млрд доларів капітальних інвестицій, значна частина яких спрямована на розвиток інфраструктури штучного інтелекту та дата-центрів.
Однією з причин різкого зростання витрат стала нова модель тарифікації, яку дедалі активніше використовують Anthropic, OpenAI та інші розробники. Замість фіксованої підписки корпоративні клієнти оплачують кількість токенів, які обробляє модель.
Такий підхід забезпечує гнучке масштабування, але водночас робить фінальні витрати значно менш передбачуваними, особливо коли автономні AI-агенти багаторазово звертаються до великих мовних моделей.
Через це дедалі більше компаній переходять на дешевші моделі або відкриті рішення, які можна запускати на власній інфраструктурі без постійної оплати за кожен токен.
Високі витрати на генеративний ШІ вже стали помітною проблемою для технологічної галузі. Деякі компанії скорочують персонал, але водночас витрачають на AI-токени у кілька разів більше, ніж раніше витрачали на зарплати. Повідомлялося також, що Uber використав свій річний бюджет на штучний інтелект лише за чотири місяці.
Подібну тенденцію підтверджують і в Nvidia.
«Для моєї команди вартість обчислень набагато перевищує витрати працівників», – заявив віцепрезидент компанії з прикладного глибокого навчання Браян Катандзаро.