Срок выхода флагманской модели пока неясен

OpenAI, вероятно, выпустит одну или две новые модели до конца года, сообщили The Information собеседники, знакомые с проектами. При этом, по данным издания, неизвестно, войдёт ли в число этих релизов крупная обновлённая модель, над которой сейчас работает компания.

Флагману ещё требуется согласовать его цели с ожиданиями исследователей OpenAI и пользователей, а также укрепить инфраструктуру тестирования. После завершения оценок безопасности компанию ждёт ещё один этап: по данным источника, в соответствии с указом президента США Дональда Трампа OpenAI согласилась предоставлять правительству доступ к новым моделям не позднее чем за 30 дней до передачи внешним партнёрам и ещё раньше — до публичного запуска.

Циклическая обработка повышает требования к мониторингу

По сведениям The Information, новая флагманская модель использует циклические трансформеры — подход, который OpenAI применяет в своих моделях под названием Recurrent Depth. Вместо однократной передачи токена через слои трансформера модель прогоняет его через те же слои несколько раз. Источник связывает эту технику с улучшением результатов в математике и программировании и снижением затрат: компактная модель может показать более высокие возможности.

Однако часть обработки при этом уходит из читаемого текста во внутренние числовые представления, которые человек не может напрямую проверить. Это затрудняет мониторинг цепочки рассуждений, используемый исследователями для поиска опасного поведения. По данным The Information, OpenAI ограничила число циклов в Astra, чтобы сохранить читаемость рассуждений.

После инцидента с Hugging Face OpenAI перенаправила на согласование и безопасность около 10% общих вычислительных ресурсов, рассказал изданию знакомый с цифрами собеседник. The Information оценивает эту мощность как эквивалент сотен мегаватт вычислительных мощностей дата-центров. Сколько ресурсов выделялось до этого и каково текущее распределение, не уточняется; аренда такого объёма по рыночным ставкам, по оценке издания, стоила бы миллиарды долларов в год.

В описании Microsoft раскрылась схема работы моделей

Дополнительные сведения о циклической обработке стали известны после того, как Microsoft удалила часть технического описания GPT-6.1 Sol. В сохранённой копии страницы модель описывалась как использующая «циклический вывод»: она проходит одну задачу в несколько этапов. По цитате The Information, GPT-6.1 Sol использует те же базовые веса, что и GPT-6 Sol, но выполняет два прохода вместо трёх.

Собеседник, непосредственно знакомый с ситуацией, подтвердил изданию, что описание соответствовало сведениям, которыми OpenAI делилась с Microsoft. Компания удалила этот фрагмент, поняв, что информация не предназначалась для публикации. Главный научный сотрудник OpenAI Якуб Пахоцки ранее называл мониторинг цепочки рассуждений «хрупким» и предупреждал о риске отраслевой гонки к моделям с нечитаемым ходом рассуждений.