Регулярное выражение URLS в nltk/tokenize/casual.py, скомпилированное в TweetTokenizer.WORD_RE и применяемое TweetTokenizer.tokenize, содержит ветку голого домена, префикс метки домена которой [a-z0-9]+(?:[.\-][a-z0-9]+)* не ограничен. Входные данные, состоящие из множества чередующихся разделителей меток, могут быть разделены экспоненциально многими способами, а поскольку для ветки также требуется конечный домен верхнего уровня, который такие входные данные никогда не предоставляют, движок исследует эти разделы, прежде чем произойдет сбой при каждом смещении. Таким образом, несколько килобайт ввода занимают секунды или минуты однопоточного процессора, а подстановка HANG_RE, выполняемая перед сопоставлением, не разрушает шаблон. TweetTokenizer предназначен для токенизации ненадежного текста в социальных сетях, поэтому любая служба, которая применяет его или Casual_tokenize на уровне модуля к отправленному тексту, может быть остановлена по запросу без аутентификации.
Версия 3.10.1 ограничивает повторение меток.
Показать оригинальное описание (EN)
The URLS regular expression in nltk/tokenize/casual.py, compiled into TweetTokenizer.WORD_RE and applied by TweetTokenizer.tokenize, contains a naked-domain branch whose domain-label prefix [a-z0-9]+(?:[.\-][a-z0-9]+)* is unbounded. Input consisting of many alternating label separators can be partitioned in exponentially many ways, and because the branch also requires a trailing top-level domain that such input never supplies, the engine explores those partitions before failing at each offset. A few kilobytes of input therefore consumes seconds to minutes of single-threaded CPU, and the HANG_RE substitution performed before matching does not collapse the pattern. TweetTokenizer is intended for tokenizing untrusted social-media text, so any service that applies it, or the module-level casual_tokenize, to submitted text can be stalled per request without authentication. Version 3.10.1 bounds the label repetition.
Характеристики атаки
Последствия
Строка CVSS v4.0