OpenAI представила новий високошвидкісний режим GPT-5.6 Sol Ultrafast, який працює на інфраструктурі Cerebras і здатний генерувати до 750 вихідних токенів за секунду. Це приблизно у 14 разів швидше за стандартний режим роботи моделі та дозволяє значно скоротити час виконання великих завдань.
Як повідомляє OpenAI, новий режим створений насамперед для сценаріїв, у яких швидкість відповіді безпосередньо впливає на робочий процес. Замість очікування завершення тривалого завдання користувач може отримувати результати практично в реальному часі та одразу переходити до наступної ітерації.
Різниця особливо помітна під час роботи з великими обсягами тексту або коду. Наприклад, генерація патча коду обсягом близько 2 000 токенів за швидкості 750 токенів за секунду займає приблизно 2,7 секунди.
Якщо така швидкість зберігається протягом усього процесу генерації, навіть максимальний ліміт виводу у 128 тисяч токенів теоретично можна використати менш ніж за три хвилини. Для складних завдань, де модель повинна створювати великі обсяги коду, аналізу або структурованих даних, це суттєво змінює характер взаємодії з ШІ.
В OpenAI описують перевагу Ultrafast як можливість виконувати «більше корисної роботи за секунду». Компанія вважає, що збільшення швидкості дозволить перетворити частину тривалих процесів на інтерактивні.
Зокрема, завдання, які раніше могли запускатися на ніч через тривалий час виконання, тепер потенційно можна виконувати протягом робочого дня, отримуючи результати та одразу вносячи зміни. Це дозволяє проводити більше ітерацій без необхідності довго чекати на кожну наступну відповідь моделі.
Ultrafast може бути особливо корисним під час програмування, роботи з великими кодовими базами, аналізу даних та інших завдань, де модель повинна генерувати значні обсяги інформації. Висока швидкість також робить взаємодію з моделлю ближчою до звичайної роботи з інтерактивним інструментом.
При цьому йдеться саме про прискорений режим GPT-5.6 Sol, а не про окрему модель із принципово іншими можливостями. Основна відмінність полягає у швидкості інференсу, яку забезпечує спеціалізована інфраструктура Cerebras.
Поки що скористатися GPT-5.6 Sol Ultrafast можуть не всі. OpenAI запустила технологію в режимі обмеженого попереднього доступу та надає її лише вибраній групі клієнтів.
Компанія планує поступово розширювати доступ у міру збільшення доступних обчислювальних потужностей. Для користувачів і компаній, які хочуть отримати Ultrafast у майбутньому, OpenAI вже відкрила окрему форму очікування.
Таким чином, головна ставка OpenAI в Ultrafast зроблена не на збільшення розміру моделі, а на різке скорочення часу між запитом і результатом. Якщо технологія стане широко доступною, складні завдання з великим обсягом генерації можуть перейти від багатохвилинного або тривалого фонового виконання до практично інтерактивного режиму.
