Модели сравнили на двух тестах

OpenAI сообщила, что улучшила свои модели для языков программирования с небольшим объёмом обучающих данных, включая COBOL, Fortran и Visual Basic. Компания отмечает, что эти языки используются в критически важной инфраструктуре. По оценке IBM, приведённой The Decoder, COBOL задействован более чем в 40% систем онлайн-банкинга и в 95% операций банкоматов.

В MultiLangBench модели должны с нуля создать совместимый с SQLite движок базы данных. На этом тесте GPT-6 Astra при максимальном уровне рассуждений получила средний результат 87,4% по 20 языкам — против примерно 38% у GPT-5.6 Terra. GPT-6 Luna набрала 40,3%, а GPT-5.6 Terra — 37,9%. OpenAI описала устройство теста в открытом репозитории. В публикации также отмечено, что Luna обходится заметно дешевле; это сравнение приводится со ссылкой на оценку стоимости.

Тест проверял перевод программ с COBOL

Второй тест измерял точность перевода COBOL на C++, Java, Kotlin, Python или Rust. По данным OpenAI, GPT-6.1 Sol достигла точности 86,6% при низком уровне рассуждений, тогда как GPT-5.6 Sol набрала 5,4%. При повышении уровня рассуждений результат GPT-6.1 Sol составил 97,9%.

OpenAI представила эти результаты как прогресс в работе моделей с языками, для которых в обучающих данных меньше кода, чем, например, для Python.