Xinference — это API вывода для запуска речевых и мультимодальных моделей с открытым исходным кодом. В версии 2.5.0 и более ранних версиях Xinference передает результаты вызова инструмента Llama3 под влиянием злоумышленника в eval() в xinference/model/llm/tool_parsers/llama3_tool_parser.py и xinference/model/llm/utils.py. Запросы к /v1/chat/completions с полем инструментов проходят через xinference/api/restful_api.py, xinference/model/llm/transformers/core.py, handle_chat_result_non_streaming() и _post_process_completion() до того, как Extract_tool_calls() или _eval_llama3_chat_arguments() оценит сгенерированное моделью выражение Python.
Удаленный злоумышленник, не прошедший проверку подлинности, может повлиять на этот вывод через специально созданную подсказку и выполнить команды в контексте процесса сервера Xinference. Эта проблема исправлена в версии 2.7.0.
Показать оригинальное описание (EN)
Xinference is an inference API for running open-source, speech, and multimodal models. In 2.5.0 and earlier, Xinference passes attacker-influenced Llama3 tool-call output to eval() in xinference/model/llm/tool_parsers/llama3_tool_parser.py and xinference/model/llm/utils.py. Requests to /v1/chat/completions with a tools field flow through xinference/api/restful_api.py, xinference/model/llm/transformers/core.py, handle_chat_result_non_streaming(), and _post_process_completion() before extract_tool_calls() or _eval_llama3_chat_arguments() evaluates the model-generated Python expression. An unauthenticated remote attacker can influence that output through a crafted prompt and execute commands in the Xinference server process context. This issue is fixed in version 2.7.0.
Характеристики атаки
Последствия
Строка CVSS v3.1