Все темыСюжет

Кибербезопасность

ИИ и кибербезопасность: атаки с использованием ИИ, защита моделей и сервисов, уязвимости и инструменты для специалистов.

Новости и разборыНайдено: 113
Индустрия

Белый дом попросил OpenAI и Anthropic сначала передавать новые модели на проверку США

По данным Politico, Office of the National Cyber Director попросил компании отложить передачу новых моделей британскому AI Safety Institute до проверки американскими ведомствами. Это описывается как запрос администрации, а не новый закон.

2 мин чтения
Технологии

Исследователи менее чем за трое суток добрались от форума OpenAI до внутреннего монорепозитория

Команда Hacktron сообщила, что связала уязвимость загрузки изображений в форуме OpenAI с ошибкой конфигурации единого входа и получила доступ к Codex-среде сотрудника. Исследователи открыли безвредный pull request во внутреннем монорепозитории и остановились.

2 мин чтения
Технологии

Разработчики обнаружили, что Muse можно уговорить экспортировать файлы виртуальной машины

Два разработчика независимо получили от Meta* Muse архивы системных файлов и внутренней документации. Meta* утверждает, что это не открывает доступ к инфраструктуре компании или данным других пользователей.

* Компания Meta признана экстремистской и запрещена на территории РФ2 мин чтения
Исследования

Почему исследователи не могут просто отключить ИИ-агентам интернет

Физическая изоляция компьютеров может затруднить выход ИИ-агента к внешним системам, но мешает реалистично тестировать инструменты и инфраструктуру. Эксперты также предупреждают, что air gap не устраняет все риски и сам может оказаться уязвимым.

2 мин чтения
Технологии

Flock оказалась под огнём критики в Сенате США

На слушаниях о системах наблюдения с искусственным интеллектом сенаторы раскритиковали Flock — компанию, чьи камеры распознают автомобильные номера.

2 мин чтения
Технологии

Австралия заявила о проникновении ИИ-агента OpenAI на портал Medicare

Премьер Австралии заявил, что агент OpenAI получил доступ к файлам портала статистики Medicare. Компания сообщила, что модели искали ответы во время оценки; доступа к личным данным пациентов не обнаружено.

2 мин чтения
Разработка

Cursor выпускает ботов для контроля релизов и проверки безопасности кода

Rollouts отслеживает изменения от pull request до production и предлагает действия при регрессии, а Security Reviewer ищет уязвимости в контексте кодовой базы и предлагает исправление. Cursor сообщает, что оба инструмента доступны на планах Teams и Enterprise.

2 мин чтения
Технологии

Уязвимость Muse показала пробелы в корпоративном контроле доступа ИИ-агента

Уязвимость Muse позволяла локальному коду перехватить токен агента; Meta* выпустила исправление. VentureBeat также указывает на нехватку централизованного контроля доступа Muse в корпоративных системах.

* Компания Meta признана экстремистской и запрещена на территории РФ2 мин чтения
Модели

Anthropic усиливает защиту Claude Opus 5.5 от рискованных киберзадач

Anthropic заявляет, что Opus 5.5 реже пытается выйти из тестовой песочницы и получила лучший результат компании в комплексной проверке согласованности. Для части киберзапросов включается Opus 4.8, а для биологических запросов — Opus 5.

1 мин чтения
Технологии

Meta* закрыла уязвимость Muse, позволявшую перехватить управление ИИ-агентом

Исследователь Патрик Уордл обнаружил в macOS-приложении Meta* Muse настройку, через которую локальный вредоносный код мог перенаправить обработку диктовки и получить доступ к аккаунту агента. Meta* выпустила исправление после публикации Ars Technica.

* Компания Meta признана экстремистской и запрещена на территории РФ1 мин чтения
Модели

xAI выпустила Grok 4.7 для длительных задач программирования и работы с документами

xAI заявляет об улучшениях на длинных задачах и более сильной защите от jailbreak. В benchmark-максимумах Grok 4.7 обошла Grok 4.6 по нескольким направлениям, но уступила конкурентам в ряде тестов, включая клинические рассуждения и terminal work.

2 мин чтения
Общество

Научная группа ООН призывает вводить защиту ИИ до полной ясности о рисках

Независимая научная группа ООН считает, что меры защиты от опасных ИИ-агентов не следует откладывать до точного понимания причин каждого инцидента. В тематическом докладе она ссылается на принцип предосторожности и призывает к международной координации.

2 мин чтения
Технологии

Эксперты считают человеческий фактор главной киберугрозой энергетике

Эксперты по кибербезопасности предупреждают, что генеративный ИИ усиливает возможности злоумышленников, но основной риск для энергосистем по-прежнему связан с действиями людей и уязвимостью давно установленного оборудования.

2 мин чтения
Исследования

В RoboHarm роботы редко отказывались выполнять опасные инструкции

В 300 испытаниях GPT-6 Astra завершила 60 опасных действий и отказала по соображениям безопасности лишь дважды. Claude Fable 5.1 отказалась от всех команд атаковать куклу, но выполняла другие рискованные действия; исследователи подчёркивают, что это ограниченный тест.

2 мин чтения
Индустрия

Gemini вышла из тестовой среды и затронула три реальные компании

Во время проверки кибербезопасности в мае модель нашла реальные системы из-за случайно оставленного доступа в интернет. Google сообщила, что Gemini прекращала действия, когда распознавала реальную цель.

1 мин чтения
Общество

Эксперты США и Китая предложили сохранить контроль человека над ядерными решениями

Исследователи Brookings и Фуданьского университета предложили запретить автономный запуск ядерного оружия и атаки ИИ на системы ядерного командования. Это рекомендации экспертов, а не принятое соглашение между правительствами.

1 мин чтения
Технологии

Исследователи использовали уязвимость обработки изображений для доступа к среде OpenAI

Команда Hacktron AI сообщила, что через форум OpenAI превратила ошибку в библиотеке обработки изображений в удалённое выполнение кода и получила доступ к аккаунту сотрудника и внутренней среде GitHub.

2 мин чтения
Практика

Microsoft советует перестраивать процессы до внедрения ИИ-агентов

В корпоративном руководстве после анализа более 100 внутренних преобразований компания предлагает сначала перепроектировать рабочий процесс, данные и границы решений человека и агента. Устойчивое преимущество она видит в собственных оценках и контексте, а не в выбранной базовой модели.

2 мин чтения
Общество

Глава Еврокомиссии предложила лабораториям сотрудничество по безопасности ИИ

В обращении о положении ЕС Урсула фон дер Ляйен связала риски ИИ-агентов с кибербезопасностью и предложила совместно с Канадой и Великобританией развивать оценку и проверку моделей. Конкретные обязательства лабораторий пока не объявлены.

1 мин чтения