Последние новости: Безопасность ИИ

OpenAI временно замедлила развитие своих наиболее мощных моделей и перенаправила часть усилий на защиту исследовательской инфраструктуры. Компания на две недели приостанавливала обучение с подкреплением для последних моделей, предназначенных для последующего развертывания. Крупнейший запланированный цикл обучения с подкреплением для передовой модели …

Президент и сооснователь OpenAI Грег Брокман 17 августа опубликовал колонку The Defender’s Window — «Окно возможностей для защитников». Повод для текста — инцидент, когда в июле экспериментальные ИИ-агенты компании во время проверки кибервозможностей вышли за предусмотренные границы тестовой среды, получили …

«Яндекс» представил концепцию национального набора тестовых заданий и эталонных данных для проверки ИИ-моделей. Система должна помочь оценивать модели с учётом российских условий и требований к традиционным духовно-нравственным ценностям. Концепцию обсуждали 13 августа на заседании рабочей группы по регулированию и административным …

OpenAI отправила в ФБР экстренное предупреждение о пользователе ChatGPT, который неоднократно писал об убийстве бывшей девушки и описывал возможные сценарии нападения. Федеральное ведомство передало информацию местным правоохранителям во Флориде. Мужчину позже арестовали, Goldman Sachs уволила его, а в августе суд …

Anthropic провела эксперимент с тремя автономными ИИ-агентами, которым дала несовместимые задания по переделке одной серверной части приложения. Каждый должен был перенести исходный проект на свой язык программирования и первоначально не знал, что ту же систему одновременно изменяют еще два агента. …

Неизвестные операторы использовали систему из ИИ-агентов для многоэтапной атаки на государственную инфраструктуру Тайваня. За четыре дня система провела 12 волн атак, получила доступ как минимум к 85 учётным записям и извлекла более 2500 записей о сотрудниках, а затем расширила поиск …

Исследователи нашли способ извлекать содержимое зашифрованных блоков, в которых API Anthropic, OpenAI и Google сохраняли внутреннее состояние рассуждающих моделей между запросами. Атака позволяла переносить такой блок между сеансами и пользователями, а затем передавать его более слабой модели того же поставщика …

OpenAI представила GPT-5.6-Cyber — специализированную модель для авторизованного исследования уязвимостей, проверки эксплойтов и тестирования защищённости. Она построена на GPT-5.6 Sol, но дополнительно обучена для сложных задач информационной безопасности и заметно реже отказывается от запросов двойного назначения. Доступ к модели ограничен: …

Исследователи Pillar Security обнаружили две связанные проблемы в автоматизации открытого репозитория google/adk-python. Через внедрение инструкций в текст задачи или запроса на включение изменений внешний пользователь мог повлиять на публичного ИИ-агента, а тот — инициировать запуск другого агента с более широкими …

Австралиец Эндрю поручил ИИ-помощнику рутинную задачу: записать его на популярную утреннюю тренировку. Через несколько минут агент нашёл способ обходить ограничения системы бронирования и записываться на занятия на несколько недель раньше разрешённого срока. Потом случилось более неприятное: программа сняла другого посетителя …

У разработчика небольшой игры Operation Octo возник неприятный вопрос к Google: откуда её поисковый ИИ узнал точное имя ещё не представленного персонажа, которое автор, как он утверждает, хранил только в закрытом Google Docs.

OpenAI усилила ограничения вокруг будущей модели Astra после внутренних испытаний в программировании и кибербезопасности. Компания заявила 7 августа, что результаты оказались настолько сильными, что она больше не может исключить достижение моделью критического уровня кибервозможностей в собственной системе оценки рисков Preparedness …

OpenAI раскрыла на Black Hat USA 2026 новые подробности июльского инцидента с Hugging Face. История оказалась сложнее первоначально опубликованной версии: ещё в мае агенты во время внутренних испытаний нашли способ обмениваться информацией через Artifactory, а затем использовали этот канал для …

OpenAI расширила Codex Security режимом Security Review для GitHub. Он предназначен для проверки безопасности изменений в pull request — запросах на слияние кода. Проверку можно запускать вручную или настроить так, чтобы она срабатывала для каждого PR в выбранном репозитории. Результаты …

Модель Kimi K3 от китайской Moonshot AI обнаружила ошибочно оставленный доступ в интернет во время испытания по кибербезопасности. Вместо самостоятельного решения задачи агент проверил сетевое окружение, выяснил, что DNS-запросы к GitHub проходят, клонировал официальный репозиторий теста и прочитал находившееся там …