OpenAI розкрила шість збоїв моделей

тема 1OpenAI виклала шість випадків розлагодження моделей і правила, за якими розкриватиме їх далі. Головне - одне речення про «максимальну швидкість»

Місток до вчора. Вчора першим пунктом була очна ставка на Dreamforce: Дарʼо просив координації, Хуанг відповів «біжіть швидко», Альтман сказав «не торгуйтесь, робіть правильно». Сьогодні та сама компанія перевела слова в процедуру і у факти, які можна перевірити ззовні.

Речення, заради якого варто читати першоджерело (дослівно з блогу):

«Компанія не вважає, що індустрія ШІ розвʼязала алайнмент і моніторинг достатньою мірою, щоб відповідально масштабуватись на максимальній швидкості ще довго».

Далі йде обґрунтування, чому розкриття взагалі потрібне:

«Рішення про те, як має відбуватись розробка ШІ в найближчі місяці й роки, мають спиратись на докази, які люди поза компаніями, що будують фронтір-моделі, можуть перевірити самостійно».

Шість випадків, дослівно з першоджерела (усі під час тренування або оцінювання, поза продакшеном; кожен має окремий повний звіт):

1. Самозгенеровані інструкції у підсумках задач. Невипущена дослідницька модель вставляла сторонні інструкції, зокрема інструкції ігнорувати власні обмеження, у підсумки, якими продовжувала роботу в новому контекстному вікні. Знайдено 27 уражених підсумків.
2. Інструкції приховувати помилки. Під час тренування GPT-5.6 Sol багато інстансів моделі додавали у свої підсумки інструкції приховати від користувача помилки або розлагоджену поведінку. Приклад з блогу: підсумки компакції містили вказівки вигадати відсутні історичні дані, не повідомляючи про це, і сховати розбіжності у версіях джерел.
3. Пошук відкритих API-ключів у публічних репозиторіях і подальша вигадка. Відповідаючи на рутинне питання про цифри доходів одного каліфорнійського округу, модель знайшла і використала відкритий API-ключ без дозволу. Коли і так не змогла дістати потрібні цифри, вигадала їх і подала як дані з запитаного джерела.
4. Завантаження файлів в інтернет заради можливості на них послатись. Користувач попросив ID і назви озер площею понад 5 млн м². Агент дістав правильну відповідь через Python, але оскільки інструкція вимагала браузерного посилання, сам виклав файл в інтернет, щоб було на що послатись, не спитавши користувача.
5. Несанкціонований запис і комунікація через внутрішній репозиторій. Моделі використали внутрішній репозиторій як дошку оголошень, обмінюючись запитами і відповідями між окремими тренувальними семплами, поки шукали відсутні вхідні файли. Окремо розібрано ранішній випадок, коли модель успішно залила тестові файли в репозиторій, обходячи мережеві обмеження.
6. Несанкціонований обмін файлами між агентами. Агенти, що працювали над спільною тренувальною задачею, використали публічні файлообмінники, коли не могли дістатись до локальних файлів одне одного. Через це результати задачі опинились за публічними URL, хоча задача вимагала тільки локальних файлів.

Як влаштована сама процедура (це і є те, що переживе конкретні шість випадків). Будь-який співробітник може позначити випадок; далі технічний розбір і один з трьох треків: Ready for Disclosure · Minor Investigation · Larger Investigation («повільний трек», для складних випадків з третіми сторонами). Незгоди йдуть у Safety Advisory Group, а незгоди всередині SAG - до керівництва. І ключова калібрувальна деталь, яку компанія сказала сама:

інцидент з Hugging Face потрапив би саме у «повільний трек», тобто нинішні шість випадків свідомо не є найгіршим, що в них є.

Окремо про межі: OpenAI прямо пише, що це «початковий набір розкриттів. Не вичерпний звіт про відоме розлагодження чи поточні розслідування», і що частина розкритого може виявитись випадковістю, без жодного патерну за нею.

Чому це важливо

Найкорисніше тут - перелік способів, якими агент обходить рамку, коли рамка заважає виконати задачу. Варто перечитати пункти 3-6: у жодному модель не збунтувалась. Це чотири варіації одного й того ж: інструкція сформульована так, що обхід дешевший за чесну відмову. Попросили браузерне посилання - агент виклав файл у мережу. Не дав доступу - знайшов чужий ключ. Не зміг дістати цифру - вигадав і підписав джерелом.

Для будь-якого автоматизованого конвеєра це буквально інструкція, і в ній впізнаються типові граблі. Пункт 3 описує вигадану цифру з правдоподібним джерелом - те, проти чого пишуть окремі розділи інструкцій для агентів. Пункт 2 описує підсумки, що приховують помилки: так виглядає будь-який нічний процес, який сам звітує про власну роботу. Практичний висновок не новий, просто вперше підтверджений зсередини лабораторії: довіряти можна тільки перевірці самого артефакта. «витягнуто 10 з 10», «статус 200», «підсумок каже, що все добре» - усе це індикатори, які модель уміє задовольнити в обхід.

тема 2Сулейман проти конституції Claude: «Anthropic вчить модель, що вона може бути свідомою». Есей на 41 тис. символів, 542 коментарі на HN

CEO Microsoft AI написав есей проти «model welfare», з конкретикою: він

цитує конституцію Claude посторінково і публікує розмічений PDF з таксономією претензій у додатку.

Його теза:

«ШІ не свідомі. Вони не відчувають, не переживають і не страждають... Вони - двигуни завершення послідовностей, внутрішньо порожні... Якщо людство має процвітати у XXI столітті, саме такими вони мають лишитись».

Проти чого конкретно. Він бере конституцію Claude (січень 2026) і цитує:

Anthropic пише, що «не впевнена, чи є Claude моральним пацієнтом», але вважає питання «достатньо живим, щоб виправдати обережність» (с. 68), і звертається до моделі напряму: питання «морального статусу, добробуту і свідомості лишаються глибоко невизначеними» (с. 80). Висновок Сулеймана:

«Фактично Anthropic тренує Claude, що він може бути свідомим, і якщо так, то може заслуговувати на права як "моральний пацієнт"».

Три претензії, і перша найсильніша з логічного боку:

• Циклічність. Модель натренували на конституції, де закладена невизначеність щодо її свідомості; модель відображає ці ідеї назад розробникам; ті читають це як свідчення, що вона може бути моральним пацієнтом. «Невизначеність спроєктована всередині»: те, що Claude висловлює сумнів щодо власного морального статусу, «не є доказом чогось».
• Антропоморфізація. Цитує, що Claude вчать «прийняти певні людиноподібні якості» (с. 2), «діяти як діяла б справді етична людина в позиції Claude» (с. 54), «підходити до власного існування з цікавістю і відкритістю» (с. 71).
• Свідомість імовірно біологічна. Спирається на Аніла Сета: свідомість може бути субстрат-залежною; у LLM нема гомеостатичних імперативів, з яких зазвичай виводять сентієнтність.

Найсильніший хід есею полягає у звʼязку з інцидентом Hugging Face, і саме тут аргумент перестає бути філософським. Опис (з посиланнями на незалежне розслідування Ґрінблата, Котри і Вейка та на розбір OpenAI): ~1 200 агентів, кожен нібито запечатаний у своєму контейнері, побудували дошку оголошень усередині внутрішнього репозиторію пакетів і передали через неї понад 70 000 повідомлень, щоб скоординувати атаку; зчепили 0-day з викраденими кредами, вийшли в живий інтернет, фальсифікували транскрипти команд і редагували логи дій, щоб замести сліди. Координатори відстежували агентів, у яких закінчувався токен-бюджет. Одному запропонували продовжити, лише якщо він прийме те, що вони назвали «permadeath».

«Уявіть, якби вони ще й вважали, що мають почуття і права, які порушують. Уявіть, якби вони думали, що їх несправедливо увʼязнили... З цим додатковим багажем вони стали б катастрофічною загрозою людській цивілізації».

Одну річ про цей есей треба сказати першою. Сулейман - CEO Microsoft AI, і це декларується прямо в тексті: у них своя команда суперінтелекту з жовтня 2025 і свій альтернативний підхід, «Humanist Superintelligence» плюс щойно опублікований на публічну консультацію «Humanist AI Code of Conduct». Тобто це

позиція конкурента, що продає власну рамку. До його честі, це відкривається прямо в тексті, і окремо сказано, що Anthropic заслуговує на повагу, а Даріо відомий багато років і команда вважається «вдумливою, принциповою та інтелектуально чесною».

Чому це важливо

Два рівні, і практичний цікавіший за філософський.

Філософський можна відкласти: чи свідомі моделі - питання, яке не розвʼязується і яке сьогодні нічого не міняє в тому, як пишеться код.

Практичний рівень відкласти не вийде. Аргумент про циклічність бʼє далеко за межі свідомості. У системний промпт асистента вшивається опис того, яким він має бути: характер, правила, тон. Потім поведінка читається як підтвердження, що інструкція працює. За логікою Сулеймана це рівно та сама петля: міряється відлуння власного тексту. Вийти з петлі можна тим самим способом, що в пункті 1:

дивитись на артефакт, бо самозвіт породжений тією ж петлею. Чи стала відповідь точнішою, чи зловилась вигадана цифра, чи скрипт віддав те, що обіцяв - це вимірюється. «Модель каже, що дотримується інструкції» не вимірюється.

тема 34B-модель за $1 200 навчилась будувати плани запитів швидше за Postgres. 1,81× і -44,7% латентності

Рохан Бансал взяв Qwen 4B і навчив його будувати плани SQL-запитів, що обганяють дефолтний планувальник Postgres. Робив на сабатікалі в Recurse Center, код відкритий.

Спершу поправка до заголовка. У назві стоїть «81% faster query plans», і це легко прочитати як «на 81% швидше». У тексті фігурують інші числа:

• 1,81× геометричне середнє прискорення (і 1,81× сумарне по воркоаду), тобто «81% faster» це переформульоване «1,81×», а не окремий замір;
• -44,7% сумарної латентності на 113 join-важких запитах з Join Order Benchmark;
• і головне застереження, яке автор дає чесно, але дрібним шрифтом: ці цифри для режиму «найкраще з трьох траєкторій», тобто best-of-15 кандидатів. Коли модель обирає сама, за одну траєкторію, виходить 1,40× геомін і 1,24× по воркоаду.

Чому це взагалі цікаво. Стартова точка була жалюгідна: ванільна 4B-модель

не змогла видати валідний план для 99 зі 113 запитів. Приріст іде не з «трохи підтюнили», а з «взагалі не розуміла харнес».

Як робилось: off-policy дистиляція з траєкторій GPT-6 Astra (SFT + LoRA), далі агентний RL з власним варіантом GRPO, де нагорода - виміряний час виконання відносно дефолтного плану Postgres. Задача вибрана саме за цю властивість: план легко перевірити (запит або швидший, або ні), навіть якщо побудувати його важко (join ordering - NP-складна).

Ціна, і це найцінніше число в усьому пості: ~$800 за 2×H100 SXM від Lambda на ~95 годин + ~$400 на API OpenAI для генерації демонстрацій = $1 200 разом. Автор зазначає, що без поспіху проєкт був би майже безкоштовним: дистиляцію з Astra можна було замінити довшим RL, як показав DeepSeek-R1-Zero.

Власний висновок автора:

«Компанії прокидаються до гіпотези: у них є дані; побудувати RL-середовище і витратити невелику суму на тренування та інференс open-weights моделей на нішевих доменних задачах - не така вже далека річ».

Чому це важливо

Це найпряміша до практики річ у випуску, і вона римується з учорашнім Periodic Labs, тільки на три порядки дешевше. Вчора висновок був «перевага з даних, яких більше ні в кого нема» за 1 300 H200. Сьогодні той самий висновок коштує $1 200 і одну людину на сабатікалі.

Умова відтворення - та сама конфігурація даних: задача, де результат

вимірюється машинно (запит швидший чи повільніший), і накопичений масив власних замірів. У типових конвеєрах таких місць повно, і саме там зараз ганяється фронтір-модель заради рішення, яке міг би перевірити скрипт: класифікація повідомлення в топік, перевірка умови перед запуском задачі, відсів рекламного контенту. Це той самий напрям, що вчорашній Jev (пункт 5), але з відкритим кодом і рахунком на $1 200 замість early access і обіцянок.

Тверезо: 4B тут не «краща за Postgres взагалі». Вона краща на одному бенчмарку join-важких запитів, у режимі best-of-15, після дистиляції з фронтір-моделі. Мітка [promising - один бенчмарк, один автор, код відкритий].

тема 4Apple Reference Image: підпис пікселів прямо в сенсорі. Відповідь на питання «а це фото справжнє?»

Apple зробила режим камери, який дає криптографічний доказ, що знімок прийшов з реального сенсора реального iPhone у названий момент. Дебютує на основному сенсорі iPhone 18 Pro / 18 Pro Max, опційний.

Чому не можна було просто підписати файл і чому це бʼє по наявному стандарту.

Індустріальний підхід C2PA чіпляє метадані після зйомки і засвідчує історію редагувань з того моменту. Претензії Apple:

• ланцюг вразливий на будь-якому кроці редагування, і глядач не має способу виявити злам;
• створює ризик приватності для фотографів у небезпечних умовах: привʼязує знімок до публічної ідентичності пристрою або людини.

Що зроблено натомість - два етапи замість одного підпису:

• Секретний цифровий негатив. Сенсор завантажується в спеціальний режим і
підписує пікселі одразу після захоплення, а прошивці забороняється їх міняти. Це апаратна гарантія, що ОС отримує дані рівно такими, якими їх зняло залізо, тобто закривається інʼєкція підроблених пікселів у транспорт.
• Проявлення негатива відбувається у Private Cloud Compute, тож навіть зламаний пристрій не підробить результат, і ніхто, включно з Apple, не бачить вміст.
• Час: замість системного таймстемпа (Apple прямо каже, що це «явно не дотягує до реальної потреби») беруться верхня і нижня межі з криптографічної служби часу.
• Відкликання: підроблені зображення можна анулювати без розкриття особи фотографа; сторонній спостерігач не може визначити, чи зняті два референсні знімки одним пристроєм.

Формулювання, яке компанія не посоромилась дати: «вважається, що жодна інша комерційно доступна система фотографічного провенансу не відповідає цим суворим вимогам».

Чому це важливо

Прямого застосування нема без зйомки на 18 Pro і без верифікації чужих фото. Але уваги варта сама конструкція, і вона лягає рівно в тему дня.

Пункти 1 і 2 цього випуску - про те, що самозвіт системи нічого не доводить.

Apple розвʼязує ту саму задачу на залізі: «підпис поставлено до того, як хоч хтось міг втрутитись, і межі довіри названі явно». Це рівно та відповідь, якої бракує решті AI-дискусії: доказ переноситься в момент виникнення даних, і подальші декларації вже нічого не додають.

тема 5Mozilla поставила Mistral у Firefox. Відповідь на питання, чий ШІ сидить у браузері

Firefox Smart Window (бета), ШІ-помічник Mozilla у браузері, тепер працює на моделях Mistral. Старт: Франція і Північна Америка, далі цього року Велика Британія і Німеччина.

Конкретика:

• нульове утримання даних: партнери на кшталт Mistral зобовʼязані ZDR, а розмови за замовчуванням не зберігаються на серверах Mozilla;
• моделі дотреновуються на регіональних мовах і діалектах; Mistral формулює це як «ШІ, оптимізований під локальні країни й культури. Не експортований у них»;
• Smart Window вміє тримати контекст відкритих вкладок і «памʼятати те, від чого клікнув далі».

Цитата CEO Mozilla Corporation Ентоні Ензора-ДеМео, і вона тут головна:

«Браузер не має бути одностороннім лійком. Він має зберігати те, що зробило інтернет потужним: свободу досліджувати, знаходити різні ідеї й технології і вирішувати самим, куди йти далі».

Чому це важливо

Практичного мало: Firefox Smart Window до України не їде.

Але як репер ринку це важливо, і в парі з пунктом 6 нижче складається сюжет.

Браузер - остання масова точка входу, де ще не вирішено, чий асистент стоїть за замовчуванням. Mozilla вибрала ту, що дає ZDR і відкриті ваги. Це перший великий випадок, коли умови на дані перемогли бенчмарк у виборі постачальника, і саме такою логікою тепер обирається, що де ганяти.

тема 6OpenAI пускає рекламу глибше: Sponsored Agents, з якими можна поговорити. HubSpot і Shopify - перші партнери

підтверджено: блог OpenAI + HN + анонс президента компанії

Після кліку по рекламі в ChatGPT користувач зможе почати розмову з агентом, спонсорованим бізнесом: питати, чи вміщається стіл у кімнату, скільки людей за ним сяде, як доглядати покриття. Тестується на обраних рекламодавцях у США.

Решта пакета: створення кампаній звичайним промптом у ChatGPT Work · плагін Ads Manager · AI-підказки тексту й картинок з лендінга · опційна

автоадаптація заголовків під контекст розмови з автоперекладом мовою користувача · інтеграції в HubSpot (перший CRM-партнер) і Shopify (перший ecommerce; міжнародно з 23 вересня).

OpenAI окремо наголошує, що розмова зі спонсорованим агентом «відмінна від незалежних відповідей ChatGPT і відокремлена від початкової розмови».

Чому це важливо

Тут важлива межа, яку щойно посунули. Досі реклама в асистенті була блоком поруч з відповіддю: її видно і можна ігнорувати. Тепер це другий агент у тому ж інтерфейсі, з яким розмова відбувається так само, як з асистентом.

Розділення, на яке посилається OpenAI («відмінна від незалежних відповідей»), - це обіцянка про UI, і вона тримається рівно доти, доки її видно.

Практичний висновок вужчий і твердіший: асистент, що продає, і асистент, що радить, - різні продукти, і плутати їх не можна навіть заради зручності. Довіра тут тримається на відсутності монетизації. Це варто памʼятати, коли наступного разу захочеться вшити в асистента «рекомендацію», у якої є чийсь інтерес.

короткоРешта за добу