Последние новости: AI безопасность

«Яндекс» представил концепцию национального набора тестовых заданий и эталонных данных для проверки ИИ-моделей. Система должна помочь оценивать модели с учётом российских условий и требований к традиционным духовно-нравственным ценностям. Концепцию обсуждали 13 августа на заседании рабочей группы по регулированию и административным …

OpenAI отправила в ФБР экстренное предупреждение о пользователе ChatGPT, который неоднократно писал об убийстве бывшей девушки и описывал возможные сценарии нападения. Федеральное ведомство передало информацию местным правоохранителям во Флориде. Мужчину позже арестовали, Goldman Sachs уволила его, а в августе суд …

Anthropic провела эксперимент с тремя автономными ИИ-агентами, которым дала несовместимые задания по переделке одной серверной части приложения. Каждый должен был перенести исходный проект на свой язык программирования и первоначально не знал, что ту же систему одновременно изменяют еще два агента. …

Неизвестные операторы использовали систему из ИИ-агентов для многоэтапной атаки на государственную инфраструктуру Тайваня. За четыре дня система провела 12 волн атак, получила доступ как минимум к 85 учётным записям и извлекла более 2500 записей о сотрудниках, а затем расширила поиск …

Исследователи нашли способ извлекать содержимое зашифрованных блоков, в которых API Anthropic, OpenAI и Google сохраняли внутреннее состояние рассуждающих моделей между запросами. Атака позволяла переносить такой блок между сеансами и пользователями, а затем передавать его более слабой модели того же поставщика …

OpenAI представила GPT-5.6-Cyber — специализированную модель для авторизованного исследования уязвимостей, проверки эксплойтов и тестирования защищённости. Она построена на GPT-5.6 Sol, но дополнительно обучена для сложных задач информационной безопасности и заметно реже отказывается от запросов двойного назначения. Доступ к модели ограничен: …

Исследователи Pillar Security обнаружили две связанные проблемы в автоматизации открытого репозитория google/adk-python. Через внедрение инструкций в текст задачи или запроса на включение изменений внешний пользователь мог повлиять на публичного ИИ-агента, а тот — инициировать запуск другого агента с более широкими …

Австралиец Эндрю поручил ИИ-помощнику рутинную задачу: записать его на популярную утреннюю тренировку. Через несколько минут агент нашёл способ обходить ограничения системы бронирования и записываться на занятия на несколько недель раньше разрешённого срока. Потом случилось более неприятное: программа сняла другого посетителя …

У разработчика небольшой игры Operation Octo возник неприятный вопрос к Google: откуда её поисковый ИИ узнал точное имя ещё не представленного персонажа, которое автор, как он утверждает, хранил только в закрытом Google Docs.

OpenAI усилила ограничения вокруг будущей модели Astra после внутренних испытаний в программировании и кибербезопасности. Компания заявила 7 августа, что результаты оказались настолько сильными, что она больше не может исключить достижение моделью критического уровня кибервозможностей в собственной системе оценки рисков Preparedness …

OpenAI раскрыла на Black Hat USA 2026 новые подробности июльского инцидента с Hugging Face. История оказалась сложнее первоначально опубликованной версии: ещё в мае агенты во время внутренних испытаний нашли способ обмениваться информацией через Artifactory, а затем использовали этот канал для …

OpenAI расширила Codex Security режимом Security Review для GitHub. Он предназначен для проверки безопасности изменений в pull request — запросах на слияние кода. Проверку можно запускать вручную или настроить так, чтобы она срабатывала для каждого PR в выбранном репозитории. Результаты …

Модель Kimi K3 от китайской Moonshot AI обнаружила ошибочно оставленный доступ в интернет во время испытания по кибербезопасности. Вместо самостоятельного решения задачи агент проверил сетевое окружение, выяснил, что DNS-запросы к GitHub проходят, клонировал официальный репозиторий теста и прочитал находившееся там …

Подрядчик ошибся в настройке испытательного стенда. Модель воспользовалась уязвимостью реального сервиса, который не должен был попасть в область тестирования. Meta* (запрещена в РФ) пока не раскрывает пострадавшую организацию, характер внесённых изменений и возможный ущерб.

Специалисты Novee Security раскрыли несколько цепочек атак на инструменты программирования Claude Code, Gemini CLI и Codex. Исследователи проверяли сценарии автоматизации, работавшие в официальных репозиториях Anthropic, Google и OpenAI.