Двоє дослідників, які працювали над розвитком передових систем штучного інтелекту та їхньою безпекою, залишили Anthropic і публічно попередили про ризики нинішньої гонки у сфері ШІ. На їхню думку, можливості моделей розвиваються настільки швидко, що механізми контролю та безпеки можуть просто не встигати за цим прогресом.
Одним із найгучніших став відхід Джейкоба Коксона (Jacob Coxon). Приблизно три роки він займався дослідженнями у сфері попереднього навчання моделей, або pretraining, спочатку в OpenAI, а згодом в Anthropic. У вересні Коксон оголосив, що залишає компанію, і пояснив своє рішення не переходом до конкурента чи запуском власного стартапу, а принциповими побоюваннями щодо того, куди рухається сучасна ШІ-індустрія. У своєму дописі в X він прямо заявив, що більше не хоче брати участь у гонці зі створення дедалі потужніших систем, наслідки якої, на його думку, можуть бути небезпечними для людства.
Один із наступних дописів Коксона швидко розлетівся соцмережею. У ньому дослідник написав, що люди, які безпосередньо створюють сучасні ШІ-системи, всерйоз допускають сценарій, за якого штучний інтелект може становити смертельну загрозу для людства вже до кінця десятиліття. Коксон окремо наголосив, що не вважає такі заяви маркетинговим перебільшенням: за його словами, частина керівників і старших дослідників формулює свої побоювання значно обережніше публічно, ніж у приватних розмовах. На момент скриншота цей допис набрав 26,1 млн переглядів, 129 тисяч вподобань, 15 тисяч поширень, 10 тисяч збережень і близько 1,4 тисячі відповідей.
В інтерв’ю WIRED Коксон пояснив свої побоювання детальніше. За його словами, провідні ШІ-лабораторії рухаються до систем, які зможуть не лише виконувати окремі завдання, а й допомагати створювати ще потужніші моделі, автоматизуючи частину роботи самих дослідників. Саме цей сценарій він вважає особливо небезпечним: поки нові моделі створюють люди, темп розвитку хоча б частково обмежений швидкістю роботи інженерів, науковців і доступними обчислювальними ресурсами. Якщо ж достатньо потужний ШІ зможе самостійно писати код, тестувати архітектури, проводити експерименти та допомагати навчати наступні покоління моделей, швидкість прогресу може різко зрости.
У TechCrunch позицію Коксона описують ще жорсткіше. Він вважає, що проблема полягає не лише у швидкому розвитку технології, а й у самій логіці конкуренції між найбільшими ШІ-компаніями. OpenAI, Anthropic, Google DeepMind та інші лабораторії вкладають величезні ресурси у створення дедалі сильніших моделей, але кожна з них ризикує втратити позиції, якщо вирішить сповільнитися, поки конкуренти продовжують рухатися вперед. На думку Коксона, саме така ситуація і створює небезпечну гонку, в якій навіть люди, що серйозно побоюються можливих наслідків, не хочуть зупинятися першими.
Коксон називає кінцевою точкою такої гонки самовдосконалюваний надінтелект – гіпотетичний ШІ, інтелектуальні можливості якого значно перевищуватимуть людські та який зможе допомагати створювати ще сильніші системи. Сам дослідник описав нинішню ситуацію максимально жорстко, заявивши, що компанії фактично «грають нашими життями». Водночас це не означає, що Коксон вважає сучасні ChatGPT або Claude вже неконтрольованими системами. Його побоювання стосуються насамперед того, що може з’явитися в майбутньому, якщо можливості ШІ продовжать зростати швидше, ніж здатність людей перевіряти, обмежувати та розуміти поведінку таких моделей.
Рішення Коксона привернуло увагу ще й через фінансову сторону. Як повідомляв Axios, він залишив Anthropic приблизно за два місяці до моменту, коли мав отримати право на частину акцій компанії. На тлі вартості Anthropic такий пакет потенційно міг мати значну ціну, а сам Коксон також звертав увагу на те, що після звільнення більше не має прямої фінансової зацікавленості у зростанні оцінки компанії.
Ця деталь зробила його заяву ще помітнішою, оскільки рішення про відхід важко пояснити звичайним бажанням змінити роботодавця або отримати вигіднішу посаду. За словами самого дослідника, основною причиною стало саме небажання продовжувати працювати над технологією, ризики якої він вважає надто високими. Тобто його відхід був не просто кар’єрним кроком, а публічним сигналом про те, що він не погоджується з нинішнім темпом і напрямом розвитку галузі.
Коксон виявився не єдиним співробітником Anthropic, який вирішив залишити компанію на тлі подібних побоювань. Про свій відхід також публічно розповів Джо Бентон (Joe Benton), який працював у команді безпеки Anthropic та займався питаннями контролю передових ШІ-систем. Важливо правильно розуміти хронологію: Бентон фактично звільнився з Anthropic ще приблизно за два тижні до того, як опублікував пояснення свого рішення. У власному дописі він зазначив, що резонанс навколо заяви Коксона підштовхнув його розповісти про свої причини раніше, ніж він планував.
Позиції двох дослідників багато в чому збігаються. Бентон також вважає, що провідні ШІ-компанії поступово рухаються до створення систем, які зможуть суттєво прискорювати подальші дослідження у сфері штучного інтелекту. Якщо така система зможе ефективно допомагати створювати власні наступні покоління, темп розвитку технології потенційно може перейти від просто дуже швидкого до такого, за яким людям буде дедалі складніше встигати. При цьому Бентон, як і Коксон, не говорить про фантастичний сценарій, у якому ШІ раптом стає «злим». Його побоювання більше стосуються ситуації, коли надзвичайно потужна система отримує певну мету, але виконує її способом, якого розробники не передбачили або не можуть повністю контролювати.
На відміну від Коксона, Джо Бентон не вирішив повністю відійти від роботи зі штучним інтелектом. Після Anthropic він приєднався до METR – незалежної організації, яка займається оцінюванням можливостей і потенційних ризиків передових ШІ-моделей. Його рішення добре пояснює головну претензію до нинішньої системи безпеки: компанії, які розробляють найпотужніші моделі, одночасно самі визначають, наскільки ці моделі є безпечними. Бентон вважає, що цього недостатньо і що галузі потрібні сильніші незалежні перевірки.
На його думку, зовнішні організації повинні мати можливість тестувати найбільш передові системи, оцінювати їхню автономність, здатність виконувати складні завдання та потенційно небезпечні можливості. Це особливо важливо в умовах конкуренції між лабораторіями: якщо Anthropic вирішить значно сповільнити розробку, поки OpenAI, Google DeepMind або інші компанії продовжують рухатися вперед, вона ризикує втратити технологічну перевагу. У результаті всі можуть одночасно визнавати, що ризики існують, але при цьому продовжувати прискорюватися, оскільки ніхто не хоче зупинятися першим.
Особливо показово, що подібні побоювання висловлюють не лише колишні співробітники компанії. Люди, які продовжують працювати над безпекою моделей усередині Anthropic, також публічно говорять про можливість серйозних ризиків. Одним із них є Еван Хубінгер (Evan Hubinger), який займається дослідженнями у сфері alignment – тобто тим, як зробити поведінку ШІ-систем узгодженою з людськими цілями та намірами.
Хубінгер не залишив Anthropic, однак також допускає можливість дуже серйозних наслідків у разі неконтрольованого розвитку майбутніх систем. Сам факт того, що подібні погляди висловлюють чинні дослідники компанії, робить цю дискусію значно ширшою за історію двох співробітників, які вирішили звільнитися. Водночас серед науковців немає повного консенсусу щодо того, наскільки реалістичним є сценарій швидкого виникнення надінтелекту або втрати контролю над ШІ. Частина дослідників вважає такі прогнози занадто спекулятивними, а конкретні оцінки ймовірності глобальної катастрофи практично неможливо перевірити.
Ситуація виглядає ще цікавішою на тлі позиції самого керівництва Anthropic. Генеральний директор компанії Даріо Амодеї також неодноразово попереджав, що можливості передових моделей можуть розвиватися швидше, ніж механізми контролю та регулювання. У The Guardian його позицію описують як заклик до більш обережного розвитку ШІ та посилення незалежного тестування найпотужніших моделей.
Амодеї також виступає за ширшу координацію між компаніями та державами. Логіка полягає в тому, що одна лабораторія не може самостійно вирішити проблему, якщо інші учасники ринку продовжують нарощувати можливості своїх систем без аналогічних обмежень. У результаті виникає доволі суперечлива картина: Anthropic, як і її конкуренти, продовжує вкладати величезні ресурси у створення дедалі потужнішого ШІ, але водночас частина колишніх і чинних співробітників компанії відкрито попереджає, що темп розвитку технології може стати проблемою сам по собі.
У розмовах про ризики штучного інтелекту легко перейти до образів із фантастичних фільмів, де машина раптом отримує свідомість і вирішує знищити людство. Однак дослідники на кшталт Коксона та Бентона говорять переважно не про це. Їх більше турбує поява систем, які будуть настільки сильними й автономними, що зможуть виконувати складні завдання протягом тривалого часу без постійного контролю людини.
Якщо такі моделі отримають можливість самостійно писати код, проводити наукові дослідження, виконувати кібероперації, взаємодіяти з фінансовими системами або керувати реальною інфраструктурою, навіть невелика помилка у постановці цілі може мати набагато серйозніші наслідки, ніж неправильна відповідь сучасного чат-бота. Саме тому центральне питання цієї дискусії звучить не як «чи стане ШІ злим». Набагато важливіше інше: чи встигнуть люди створити надійні механізми контролю над системами, які потенційно можуть стати розумнішими, швидшими та автономнішими за своїх розробників.
Відхід Джейкоба Коксона та Джо Бентона не означає, що катастрофічний сценарій обов’язково станеться. Однак ця історія показує, що для частини людей, які безпосередньо працюють із найпотужнішими системами штучного інтелекту, питання втрати контролю над майбутнім ШІ вже перестало бути суто темою наукової фантастики.
