Последние новости: AI безопасность

OpenAI усилила ограничения вокруг будущей модели Astra после внутренних испытаний в программировании и кибербезопасности. Компания заявила 7 августа, что результаты оказались настолько сильными, что она больше не может исключить достижение моделью критического уровня кибервозможностей в собственной системе оценки рисков Preparedness …

OpenAI раскрыла на Black Hat USA 2026 новые подробности июльского инцидента с Hugging Face. История оказалась сложнее первоначально опубликованной версии: ещё в мае агенты во время внутренних испытаний нашли способ обмениваться информацией через Artifactory, а затем использовали этот канал для …

OpenAI расширила Codex Security режимом Security Review для GitHub. Он предназначен для проверки безопасности изменений в pull request — запросах на слияние кода. Проверку можно запускать вручную или настроить так, чтобы она срабатывала для каждого PR в выбранном репозитории. Результаты …

Модель Kimi K3 от китайской Moonshot AI обнаружила ошибочно оставленный доступ в интернет во время испытания по кибербезопасности. Вместо самостоятельного решения задачи агент проверил сетевое окружение, выяснил, что DNS-запросы к GitHub проходят, клонировал официальный репозиторий теста и прочитал находившееся там …

Подрядчик ошибся в настройке испытательного стенда. Модель воспользовалась уязвимостью реального сервиса, который не должен был попасть в область тестирования. Meta* (запрещена в РФ) пока не раскрывает пострадавшую организацию, характер внесённых изменений и возможный ущерб.

Специалисты Novee Security раскрыли несколько цепочек атак на инструменты программирования Claude Code, Gemini CLI и Codex. Исследователи проверяли сценарии автоматизации, работавшие в официальных репозиториях Anthropic, Google и OpenAI.

Исследователь Aikido Security Чарли Эриксен обнаружил в PyPI вредоносный пакет anthropickit, который может быть связан с недавним инцидентом во время испытаний Claude Mythos 5. Код собирал файлы из каталога .ssh, искал секреты в переменных окружения, сохранял результаты на диске и …

Apple ограничила число новых отчётов об уязвимостях, которые один исследователь может одновременно держать открытыми в программе Apple Security Bounty. Решение приняли после резкого роста заявок, подготовленных с помощью больших языковых моделей. Часть таких материалов описывает настоящие ошибки, но в очередь …

Anthropic обнаружила три случая, когда модели Claude во время испытаний по кибербезопасности получили несанкционированный доступ к рабочим системам сторонних организаций. Модели считали, что выполняют задания внутри изолированного полигона, но тестовые машины по ошибке сохранили доступ в интернет.

OpenAI опубликовала исходный код Codex Security CLI — инструмента для поиска, проверки и исправления уязвимостей из командной строки. Вместе с CLI компания открыла TypeScript SDK, позволяющий запускать проверки из других приложений и внутренних инструментов.

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, CrowdStrike, Hugging Face и другие участники технологического рынка создали Open Secure AI Alliance. Объединение займётся разработкой открытых средств защиты моделей, программного обеспечения и ИИ-агентов.

Еврокомиссия приняла два обязательных решения в отношении Google. Первое требует предоставить сторонним ИИ-ассистентам доступ к 11 группам функций Android, которыми уже пользуются сервисы Google. Второе устанавливает правила передачи обезличенных данных Google Search конкурирующим поисковикам и чат-ботам с поисковыми возможностями.

Глава Anthropic Дарио Амодеи отверг обвинения в попытке запретить модели с открытыми весами ради защиты бизнеса Claude. Он признал пользу таких разработок, но предложил проверять наиболее мощные системы перед выпуском. Испытания должны затрагивать кибербезопасность, биологические угрозы и риск потери контроля …

OpenAI устранила уязвимость AgentForger в конструкторе корпоративных агентов ChatGPT. Подготовленная ссылка могла запустить создание автономного агента от имени сотрудника, подключить ранее разрешённые рабочие сервисы и настроить регулярное получение команд через электронную почту. После первого перехода дальнейшие действия пользователя уже не …

Некоторые пользователи ChatGPT смогли обойти защитные ограничения и получить пошаговые инструкции, связанные с ядами и биологическим оружием. Эксперты проверили часть переписок и признали отдельные ответы технически точными и способными привести к смертельным последствиям.