OpenAI предложила международные правила для самоулучшающегося ИИ
OpenAI призывает создать международные стандарты для рекурсивного самоулучшения ИИ (RSI) — процесса, при котором системы всё активнее автоматизируют исследования по разработке следующих поколений моделей.
Что произошло
OpenAI призывает создать международные стандарты для рекурсивного самоулучшения ИИ (RSI) — процесса, при котором системы всё активнее автоматизируют исследования по разработке следующих поколений моделей. Это может резко ускорить прогресс, но одновременно усложнить контроль над технологиями.
Полностью автономное самоулучшение пока не стало реальностью, подчёркивает компания. По её мнению, двигаться к нему следует только при наличии надёжных мер безопасности: иначе люди могут потерять понимание происходящего, а ИИ — стать опаснее и хуже соответствовать человеческим целям.
Детали запуска
Инициатива развивает призыв OpenAI к более строгим правилам безопасности и более медленному развитию ИИ: теперь компания предлагает, чтобы США возглавили разработку общих технических стандартов. В основу могут лечь национальные институты безопасности ИИ, а также организации CAISI и ISO.
Речь идёт о единых методах оценки систем, обязательном обмене данными об инцидентах и правилах человеческого контроля за автоматизированными исследованиями. Похожие опасения недавно высказала научная группа ООН: она предупредила о риске потери контроля над автономными группами ИИ-агентов и предложила международное сотрудничество по образцу авиации, ядерной энергетики и кибербезопасности.