Последние новости: AI безопасность

Исследователь Aikido Security Чарли Эриксен обнаружил в PyPI вредоносный пакет anthropickit, который может быть связан с недавним инцидентом во время испытаний Claude Mythos 5. Код собирал файлы из каталога .ssh, искал секреты в переменных окружения, сохранял результаты на диске и …

Apple ограничила число новых отчётов об уязвимостях, которые один исследователь может одновременно держать открытыми в программе Apple Security Bounty. Решение приняли после резкого роста заявок, подготовленных с помощью больших языковых моделей. Часть таких материалов описывает настоящие ошибки, но в очередь …

Anthropic обнаружила три случая, когда модели Claude во время испытаний по кибербезопасности получили несанкционированный доступ к рабочим системам сторонних организаций. Модели считали, что выполняют задания внутри изолированного полигона, но тестовые машины по ошибке сохранили доступ в интернет.

OpenAI опубликовала исходный код Codex Security CLI — инструмента для поиска, проверки и исправления уязвимостей из командной строки. Вместе с CLI компания открыла TypeScript SDK, позволяющий запускать проверки из других приложений и внутренних инструментов.

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, CrowdStrike, Hugging Face и другие участники технологического рынка создали Open Secure AI Alliance. Объединение займётся разработкой открытых средств защиты моделей, программного обеспечения и ИИ-агентов.

Еврокомиссия приняла два обязательных решения в отношении Google. Первое требует предоставить сторонним ИИ-ассистентам доступ к 11 группам функций Android, которыми уже пользуются сервисы Google. Второе устанавливает правила передачи обезличенных данных Google Search конкурирующим поисковикам и чат-ботам с поисковыми возможностями.

Глава Anthropic Дарио Амодеи отверг обвинения в попытке запретить модели с открытыми весами ради защиты бизнеса Claude. Он признал пользу таких разработок, но предложил проверять наиболее мощные системы перед выпуском. Испытания должны затрагивать кибербезопасность, биологические угрозы и риск потери контроля …

OpenAI устранила уязвимость AgentForger в конструкторе корпоративных агентов ChatGPT. Подготовленная ссылка могла запустить создание автономного агента от имени сотрудника, подключить ранее разрешённые рабочие сервисы и настроить регулярное получение команд через электронную почту. После первого перехода дальнейшие действия пользователя уже не …

Некоторые пользователи ChatGPT смогли обойти защитные ограничения и получить пошаговые инструкции, связанные с ядами и биологическим оружием. Эксперты проверили часть переписок и признали отдельные ответы технически точными и способными привести к смертельным последствиям.

Исследователи проверили девять Python-скриптов, созданных ChatGPT, Microsoft Copilot и Google Gemini для обычных офисных задач. Claude Code обнаружил проблемы безопасности в каждом файле. Среди находок оказались подделка серверных запросов, обход ограничений файловой системы, внедрение данных в письма и атаки через …

Герман Греф призвал развивать полный российский стек ИИ — от вычислительной инфраструктуры и фундаментальных моделей до прикладных сервисов. В тот же день Совет Федерации одобрил рамочный закон о поддержке отечественных разработок.

SpaceXAI опубликовала исходный код Grok Build — терминального ИИ-агента для разработки программного обеспечения. В открытый репозиторий попали полноэкранный текстовый интерфейс, среда выполнения агента, инструменты для работы с файлами и командной строкой, поддержка расширений, изоляция процессов и механизмы подключения к моделям.

Инструмент Grok Build для работы с программным кодом передавал на серверы xAI целые репозитории вместе с историей изменений, даже когда агенту не требовалось изучать проект. Отдельный канал сохранял содержимое файлов, которые модель открывала во время задания, включая конфигурации с секретами.

Разработчик обнаружил в Claude Code скрытый механизм, который определял использование стороннего API-шлюза, искал признаки китайских ИИ-компаний и кодировал результаты проверки в системном промпте. Для передачи меток клиент менял почти неразличимые варианты апострофа и разделители в строке с текущей датой.

Исследователи описали новый тип обхода защитных фильтров в IDE-агентах: GitHub Copilot отказывается отвечать на вредные запросы в обычном чате, но может сгенерировать те же опасные ответы внутри файлов, тестовых данных и программного конвейера. Проблема не в одном «магическом» промпте, а …