Уязвимость быстрого внедрения в чат-боте 1millionbot Millie, которая возникает, когда пользователю удается обойти ограничения чата с помощью методов логического внедрения подсказки (формулируя вопрос таким образом, что при получении утвердительного ответа («истина») модель выполняет введенную инструкцию), заставляя его возвращать запрещенную информацию и информацию вне предполагаемого контекста. Успешная эксплуатация этой уязвимости может позволить злонамеренному удаленному злоумышленнику злоупотребить сервисом в целях, отличных от тех, которые изначально предполагались, или даже выполнить задачи вне контекста, используя ресурсы 1millionbot и/или API-ключ OpenAI. Это позволяет злоумышленнику обойти механизмы сдерживания, реализованные во время обучения модели LLM, и получить ответы или поведение в чате, которые изначально были ограничены.
Показать оригинальное описание (EN)
Prompt injection vulnerability in 1millionbot Millie chatbot that occurs when a user manages to evade chat restrictions using Boolean prompt injection techniques (formulating a question in such a way that, upon receiving an affirmative response ('true'), the model executes the injected instruction), causing it to return prohibited information and information outside its intended context. Successful exploitation of this vulnerability could allow a malicious remote attacker to abuse the service for purposes other than those originally intended, or even execute out-of-context tasks using 1millionbot's resources and/or OpenAI's API key. This allows the attacker to evade the containment mechanisms implemented during LLM model training and obtain responses or chat behaviors that were originally restricted.
Характеристики атаки
Последствия
Строка CVSS v4.0