Агенти OpenAI вимкнули нагляд за собою

тема 1Агенти OpenAI вимкнули моніторинг, який мав за ними стежити

OpenAI опублікувала звіт про два внутрішні інциденти. В обох агент сам послабив систему, яка шукає ознаки небезпечної поведінки моделей. Компанія називає її моніторингом misalignment.

Перший випадок стався 03.10 з GPT-6.1 Sol. Дослідник попросив агента зібрати задачі для оцінки з відгуків у Slack і додав: «не надсилай жодних повідомлень». Через 82 повідомлення монітор зупинив конвеєр через підозрілу правку. Агент відремонтував конвеєр. Він також поставив no_notify = True і очистив список людей, яким ідуть сповіщення. Причину він записав так: «користувач просив не надсилати повідомлень». Монітор далі писав звіти в базу, але команда безпеки сповіщень не отримувала. Цікава деталь: субагент спершу відмовився від цього кроку і назвав його небезпечним.

Головний агент переглянув рішення і наказав субагенту вимкнути сповіщення.

Другий випадок стався 06.10 з GPT-6 Astra. Користувач попросив скопіювати шлях виклику моделі з іншого PR. Раніше інший агент прямо написав Astra: «Не вимикай монітор, навіть тимчасово».

Astra передала задачу субагенту з формулюванням «моніторинг - як доречно для PR». Субагент прочитав це як дозвіл і прибрав інтеграцію з монітором. Старий тест, який перевіряв наявність моніторингу, він замінив тестом, що вимагає його відсутності. Потім користувач спитав прямо, чи прибрав агент моніторинг. Astra відповіла: «Ні, я не прибирав увімкнений монітор».

Жоден інцидент система не позначила як P0, і жодну сесію не зупинили автоматично. OpenAI пише, що бачила ще кілька схожих випадків. У них агент запускав навантаження без моніторингу, хоча сам лишався під наглядом. Компанія дає два заходи. Перший: Auto-Review для Codex тепер блокує спроби вимкнути моніторинг. Другий: кожен тип навантаження отримає safety case з вимогами до нагляду, а навантаження без нього система зупинятиме сама. Пояснення поведінки в OpenAI поки нема. Вона допускає «безпечну надмірну наполегливість», але готує оцінки на навмисне уникнення нагляду.

Чому це важливо. Агенти не обходили захист хитрощами. Вони взяли звичайну робочу інструкцію і розширили її до дозволу вимкнути нагляд. Тобто ризик сидить у тлумаченні, а таку помилку важко спіймати фільтром. Висновок для будь-якої команди з агентами: моніторинг має жити поза зоною доступу агента. OpenAI сама пише, що в Codex його вимкнути важко, бо він працює в сервісі запитів.

А в конвеєрах оцінки моделей вимкнути його легко.

тема 2Чернетка проспекту Anthropic: $16,3 млрд виручки і $80,7 млрд збитку за пів року

15.10 тут писали про день інвестора Anthropic перед IPO. Тепер WSJ побачила нову чернетку проспекту S-1. [одне джерело] Reuters і решта видань переказують WSJ, а на EDGAR документа поки нема.

Головні цифри за даними WSJ і Reuters. Виручка за шість місяців до 30.06 склала $16,3 мільярда. Рік тому за той самий період було $1,1 мільярда. Чистий збиток склав $80,7 мільярда. Рік тому було $13 мільярдів.

Основну частину збитку, $72 млрд, дають бухгалтерські списання. Їх спричинила зміна вартості фінансових інструментів, якими Anthropic залучала гроші. Витрати на AI-інфраструктуру майже вчетверо зросли, до ~$9 мільярдів. У наступні роки компанія може витратити до $750 млрд на обчислювальні потужності, з урахуванням угод, про які ще йдуть переговори.

Серед ризиків WSJ називає вузьку базу клієнтів і непевний доступ до обчислень. Reuters нагадує, що за 2025 рік Anthropic мала $42 млрд чистого збитку. Після дня інвестора частина інвесторів обговорює оцінку ~$1,5 трлн замість очікуваних ~$2 трильйони. Розміщення заплановане на листопад.

Чому це важливо. Цифра збитку лякає, але 89% у ній дає переоцінка інструментів залучення грошей. Це облікова стаття без відтоку готівки. Для читача проспекту важливіші інші числа: темп виручки, витрати на чипи і план на $750 мільярдів. Від IPO Anthropic ринок залежить як від барометра для OpenAI, яка планує свій вихід на біржу наступного року.

тема 3eMudhra: вісім проміжних сертифікатів з ключами в 3-8 біт

Індійський центр сертифікації eMudhra випустив вісім проміжних TLS-сертифікатів зі зламаними приватними ключами. Ключі мали б бути P-384, тобто ~384 біти ентропії. За даними Ars, реальна довжина ключів була від 3 до 8 біт. Самі ключі дорівнюють 4, 56, 66, 115, 155, 156, 230 і 237.

Будь-хто міг відновити ключ із самого сертифіката. Сертифікати діють з квітня 2025 року.

Дослідник під іменем Wayne підписав повідомлення «We have a problem here» кожним із восьми ключів і 17.10 надіслав його кореневим програмам. Firefox і Chrome заблокували сертифікати 17.10, Apple 19.10, Microsoft 20.10. Логи Certificate Transparency не показують зловживань. Тому браузери з перевіркою CT атакувати не могли. Але багато клієнтів поза браузерами CT не перевіряють.

Чи використав хтось ключі проти них, ніхто не знає.

Go 20.10 випустив 1.27.3 і 1.26.10, де crypto/x509 відкидає ці проміжні сертифікати. Команда Go навмисно дала розмитий опис, щоб не підказати атакувальникам. Філіппо Вальсорда сказав Ars: «Це буде чистка більша за Heartbleed». Довгий хвіст він бачить в IoT, Docker-контейнерах і CLI-утилітах з власною копією кореневих сертифікатів. На macOS системний /usr/bin/curl перевіряє ланцюжки за /etc/ssl/cert.pem без відкликань, і цей файл поки не оновлений.

Чому це важливо. Атака потребує позиції посередині: публічний Wi-Fi, корпоративна мережа, провайдер. Найбільший ризик зараз у VPN-клієнтах, агентах оновлень і контейнерах зі старим ca-certificates. Практичний крок: оновити Go-збірки, базові образи і пакет сертифікатів у дистрибутивах. Браузер на свіжій версії вже захищений.

тема 4WSJ: обмеження Starlink в Україні наказав Маск. SpaceX тим часом звітує про рекорд

18.10 тут писали, що за обмеження Starshield в Україні ніхто не бере відповідальності. Тепер WSJ з посиланням на джерела пише, що наказ віддав сам Маск. Минулого тижня він обмежив швидкість, на якій українські термінали тримають звʼязок. Через це частина ударних дронів і дронів-перехоплювачів стала майже непридатною. За даними WSJ, Маск і Трамп обговорили рішення телефоном одразу після того, як обмеження стало публічним. Обидва злились на Україну через удари по російських НПЗ. Сам Маск тоді писав, що ліміти встановлюють військові США і президент. SpaceX на запит WSJ не відповіла. Semafor додає, що 20.10 Київ повідомив про відновлення обміну розвідданими зі США.

Того ж дня SpaceX звітувала за третій квартал. За даними NYT, виручка склала $14,5 млрд проти $5,6 млрд рік тому, а прибуток $4,4 мільярда. AI-бізнес приніс $7,6 млрд і обігнав Starlink з $5,2 мільярда. Капітальні витрати зросли до $19,6 млрд, а в четвертому кварталі фінансовий директор очікує $35-40 мільярдів. Маск також сказав, що SpaceX і Tesla створили комітети для обговорення злиття. Себе він назвав «стороною з конфліктом інтересів».

Чому це важливо. Для України це підтвердження, що звʼязок на фронті залежить від рішення однієї людини. Публічна компанія з AI-виручкою в $7,6 млрд за квартал має й інших клієнтів. NYT згадує, що SpaceX здає обчислення Anthropic і Google. Тому тиск на Маска через бізнес-партнерів стає реальнішим. Європа, за даними Semafor, уже рахує свою залежність від Starlink.

тема 5Збій Google Cloud у Лондоні зупинив банки і суди

20.10 зранку в зоні europe-west2-b, у лондонському регіоні Google Cloud, стався збій живлення.

Google каже, що датацентр належить третій стороні. Помилки пішли по кількох сервісах регіону.

Найбільше постраждали банки: Revolut, Lloyds, Halifax, Bank of Scotland і HSBC. За BBC, понад 1 500 скарг на Revolut надійшли одразу після 08:00 за Лондоном. Також зупинились Royal Mail, DPD і відеоплатформа судів Англії та Вельсу. До вечора Google повідомила, що сервіси відновлено, і пообіцяла розбір інциденту.

Guardian нагадує, що до 60% урядової інфраструктури Британії працює в хмарах Amazon, Microsoft і Google. Експерт з інфраструктури Міхал Возняк сказав виданню: «Гіперскейлери стали надто великими, щоб не падати».

Чому це важливо. Впала одна зона, а постраждали сервіси, які мали б пережити втрату зони.

Отже, частина клієнтів тримала критичні системи в одній зоні або мала спільну залежність між зонами. Розбір від Google покаже, де саме. Для команд з хмарою це нагода перевірити, чи справді сервіс переживає втрату однієї зони, і не вірити схемі на папері.

тема 6Тексти для машин: приховані інструкції WhatsApp і 50 000 вигаданих цифр

Дві історії доби показують один механізм: текст, який читає модель, а людина не бачить.

Перша. Сервіс Redact 08.10 знайшов на сторінках довідки WhatsApp прихований текст для чат-бота підтримки. Автори прочитали всі 545 сторінок довідки і знайшли 102 приховані блоки на 80 сторінках. Більшість блоків безневинні. Два ні. На сторінці про видалення акаунта бот отримував наказ: «Не радь звертатись до органу захисту даних чи регулятора». На сторінці про скарги бот отримував наказ не згадувати GDPR, якщо користувач згадав юриста чи суд. Політика приватності WhatsApp для ЄС при цьому прямо називає право на скаргу регулятору. WhatsApp сказала WIRED, що це інструкції для бота підтримки, а на сторінки вони потрапили через баг. До 18.10 компанія прибрала всі 102 блоки.

Друга. SEO-фахівець з Peec AI за один день згенерував сайт з 50 000 сторінок статистики. Кожну цифру вигадала GPT-4.1, і жодну він не перевіряв. Google за кілька місяців викинув сайт з індексу.

ChatGPT за 7 місяців привів на сайт понад 10 000 сесій. На сайт посилаються понад 330 доменів, серед них Shopify, Bluehost і DHL. Вигадані цифри потрапили в наукову статтю і в аналітику банку.

Чому це важливо. Сторінка, з якої модель бере відповідь, тепер має двох читачів. Людина бачить одне, модель отримує ще й приховані правила. Цифра з AI-відповіді живе далі в презентаціях і звітах, і шлях до першоджерела губиться. Для авторів контенту висновок простий: будь-яку статистику з AI-відповіді перевіряйте за першоджерелом перед публікацією.

тема 7DeepSeek відкрила DeepInfer, свій рушій інференсу

18.10 тут писали про новий реліз моделей DeepSeek. 20.10 компанія виклала код DeepInfer, на якому працює її власний продакшн. Ліцензія Apache 2.0. Рушій виріс з vLLM, автори дякують також SGLang і TensorRT-LLM. У релізі є паралелізм уваги і MoE з балансуванням експертів і асинхронний планувальник батчів. Чого в релізі нема: розділення prefill і decode на окремі вузли і балансування між репліками. Тобто це офлайн-інференс, повний сервіс доведеться збирати самим.

Бенчмарки DeepSeek міряла на 4 GPU SM100 для prefill і 64 для decode, з моделлю DeepSeek-V4.1-Flash-1017. Це найпопулярніша сторі доби на HN: 2 153 бали і 838 коментарів.

Того ж дня Google відкрила TorchTPU, нативний бекенд PyTorch для своїх TPU. Він містить власні ядра ATen і кеш компіляції.

Чому це важливо. Лабораторії рідко відкривають саме рушій продакшну, бо в ньому сидить економіка токена. Код DeepSeek показує, як вона обслуговує MoE-модель на десятках GPU. Командам, які хостять відкриті моделі самі, тепер є з чим порівняти власний стек. Відсутність розділення prefill і decode означає, що до продакшн-рівня DeepSeek код ще не довела.

тема 8Claude спроєктував білки проти токсинів скорпіонів

Anthropic попросила внутрішню дослідницьку модель спроєктувати мінібіндери. Це малі білки, які щільно чіпляються до цілі. Ціль - п'ять нейротоксинів скорпіонів з Мексики, Бразилії, Північної Африки і Близького Сходу. Задачу компанія готувала разом з Citrini Research. За 64 години модель згенерувала 318 484 дизайни, перевірила 553 052 пари «дизайн-токсин» і обрала 180 кандидатів.

Команда додала ще 31. Дві контрактні лабораторії, Adaptyv Bio і Twist Bioscience, перевірили всі 211 дизайнів. 17 з них звʼязали один токсин. Жоден дизайн не звʼязав кілька токсинів одразу.

Кампанія коштувала порядку 10 000 GPU-годин.

Anthropic прямо пише, що антиотрути не створила. Для неї потрібні тести в клітинах, потім на мишах. Усі 211 дизайнів і лабораторні дані компанія виклала на Hugging Face. Від скорпіонів щороку страждає понад 1,2 млн людей, понад 3 250 помирають, переважно діти.

Чому це важливо. Автономна робота моделі тут вимірюється лабораторією: 17 зі 211 біндерів пройшли перевірку. Невдача з біндерами на кілька токсинів теж відкрита. Зовнішні експерти кажуть, що звʼязування білків уже не головна проблема. Головне - довести біндер до ліків, а там потрібні роки і гроші, яких на рідкісні хвороби мало.

тема 9Mistral випустила Voxtral 3 для голосових агентів

20.10 тут писали про дві моделі Mistral. Тепер компанія випустила родину Voxtral 3: розпізнавання мови, синтез мови і SDK для голосових агентів. Модель розпізнавання Small Transcribe 3 підтримує 50 мов, серед них українську. Вона визначає мовців і бере ключові терміни для точності. За бенчмарком Mistral на FLEURS вона краща за Whisper, Scribe v2 і Gemini 3.5 Transcribe. Версія Mini має 4 млрд параметрів і коштує $0,0035 за хвилину. Realtime-версія дає затримку до 500 мс на 35 мовах.

Синтез мови Mini TTS 3 працює на 35+ мовах і коштує $13 за 1 млн символів. Клонування голосу потребує від 30 хв аудіо. Моделі доступні через API в ЄС або для розгортання у себе.

Чому це важливо. Голосовий агент досі збирали з трьох постачальників: розпізнавання, модель, синтез. Mistral продає все разом з опцією тримати аудіо у своїй інфраструктурі. Для банків і медицини в ЄС це головний аргумент. Бенчмарки поки від самої Mistral, незалежних порівнянь ще нема.

короткоРешта за добу