GPT-6 Astra прошла Pokémon за 18 часов, но застряла на рутинной задаче в Minecraft
В Pokémon FireRed модель стала чемпионом за 18 часов 12 минут против 96 часов 35 минут у GPT-5.6 Sol. В Minecraft после потери предметов Astra несколько часов выращивала картофель.
Скорость в Pokémon и Factorio
После прохождения Portal GPT-6 Astra проверили в нескольких играх. В Pokémon FireRed агент дошёл до титула чемпиона за 18 часов 12 минут; GPT-5.6 Sol потребовалось 96 часов 35 минут, а GPT-5.5 не завершила игру даже за 218 часов.
В Minecraft Astra провела 141 час и построила портал в Нижний мир. Затем крипер уничтожил сундук и кровать, вместе с накопленными предметами. Агент сформулировал правило носить важные вещи с собой и не оставлять их в незащищённых сундуках, но после этого несколько часов выращивал картофель почти без продвижения.
Игровые показатели не равны общей автономности
Сравнение демонстрирует значительный разброс результатов между играми и типами задач: модель быстро прошла линейную цель в Pokémon, но после неудачи в Minecraft переключилась на безопасную рутину. Игровой агент должен не только выполнять отдельные действия, но и сохранять долгосрочную цель при изменении ситуации.
Сроки относятся к описанным игровым испытаниям и не позволяют напрямую оценить скорость выполнения реальных рабочих задач или надёжность агента вне игры.
В Minecraft Astra провела 141 час и успела построить портал в Нижний мир, прежде чем взрыв крипера уничтожил сундук и кровать. Модель добавила в заметки правило не оставлять важные предметы в незащищённом месте, но затем несколько часов занималась выращиванием картофеля вместо продвижения к цели.
В Pokémon FireRed Astra стала чемпионом за 18 часов 12 минут; GPT-5.6 Sol потребовалось 96 часов 35 минут, а GPT-5.5 не завершила игру за 218 часов. В Factorio агент собрал первые научные наборы примерно за два часа и запустил ракету через десять. В тесте ARC-AGI-3 результат Astra составил 62,7% через обычный интерфейс и около 99,9% во внутренней системе OpenAI; результаты разных режимов нельзя считать одной и той же проверкой.