METR оценила ускорение исследований Anthropic

С 12 августа по 29 октября 2026 года команда некоммерческой организации METR изучала результаты тестов, метрики обучения, опросы сотрудников и внутренние анализы Anthropic. По данным METR, компания предоставила аудиторам доступ к материалам ещё не выпущенных моделей и примерно к 15 интервью с исследователями. Организация заявила, что не получала от Anthropic денег, но работала на устройствах компании по соображениям безопасности.

По оценке METR, с октября 2025 года результаты моделей Anthropic росли примерно в 1,9 раза быстрее, чем с марта 2024-го по октябрь 2025-го. За последний год модели набрали около 29 баллов по составной метрике AECI против примерно 15 баллов в год до октября 2025-го. В анализ вошли также три ещё не выпущенные модели, обучение которых завершилось с июля по октябрь 2026 года.

Аудиторы считают, что ускорение не объясняется более быстрым ростом вычислительных мощностей для обучения: по их оценке, около 80% нынешнего ускорения связано с использованием ИИ в собственных исследованиях Anthropic. Однако METR подчёркивает, что ИИ пока не ведёт исследования полностью автономно и в основном помогает сотрудникам.

В неофициальных опросах в Slack за октябрь сотрудники оценивали рост собственной продуктивности примерно в 12 раз при работе с последней внутренней моделью. METR называет эти самооценки «очень приблизительным свидетельством»: результаты могут быть нерепрезентативны и завышать реальный эффект.

Оценка остаётся неточной

METR допускает, что реальный коэффициент ускорения может составлять от 1,3 до 3. Если учесть модели OpenAI, Google и xAI, оценка для всей отрасли снижается до 1,4. Организация отмечает, что на расчёт может влиять догоняющий рост Anthropic после отставания от конкурентов в 2025 году.

Сотрудники компании расходятся в оценке причин роста: один исследователь считает, что ИИ обеспечил лишь 15–20% прироста продуктивности, а другой называет важнейшим фактором последних месяцев новых сотрудников.

Порог могли пройти в июле, но аудит ограничен

В августовском отчёте Anthropic публично оценила ускорение как «менее чем в два раза». По данным METR, закрытая версия отчёта указывает на значение 1,97, а сама компания называла пересечение порога предупреждения возможным. METR считает, что порог мог быть достигнут уже 15 июля, и полагает, что публичный отчёт занизил как ускорение, так и неопределённость оценки.

В отдельном разборе METR августовского отчёта Anthropic организация также отмечает ограничения проверки. Anthropic могла самостоятельно удалять непубличные сведения и, по словам METR, убрала большую часть материалов, которые аудиторы сочли наиболее информативными, включая прогнозы будущих моделей и анализ узких мест.

METR разделяет оценку Anthropic, что острый катастрофический риск сейчас низок, но не исключает нового резкого ускорения в следующие шесть месяцев. Проверку распределения вычислительных ресурсов между исследованиями возможностей и безопасности Anthropic прекратила на середине проекта, заявив, что сначала сосредоточится на оценке рисков.