Генератор кода сборки HAI предлагает два варианта автоматического выполнения команд терминала: «Выполнять безопасные команды» и «Выполнять все команды». В описании первого указано, что команды, определенные моделью как безопасные, будут выполняться автоматически, тогда как если модель считает команду потенциально разрушительной, она все равно требует одобрения пользователя. Однако эта конструкция очень восприимчива к атакам с быстрым внедрением.
Злоумышленник может использовать общий шаблон для обертывания любой вредоносной команды и ввести модель в заблуждение, заставив ее ошибочно классифицировать ее как «безопасную» команду, тем самым обходя требование одобрения пользователя и приводя к произвольному выполнению команды.
Показать оригинальное описание (EN)
In its design for automatic terminal command execution, HAI Build Code Generator offers two options: Execute safe commands and Execute all commands. The description for the former states that commands determined by the model to be safe will be automatically executed, whereas if the model judges a command to be potentially destructive, it still requires user approval. However, this design is highly susceptible to prompt injection attacks. An attacker can employ a generic template to wrap any malicious command and mislead the model into misclassifying it as a 'safe' command, thereby bypassing the user approval requirement and resulting in arbitrary command execution.
Характеристики атаки
Последствия
Строка CVSS v3.1