В ядре Linux устранена следующая уязвимость:
bpf: исправлена гонка в cpumap на PREEMPT_RT. В ядрах PREEMPT_RT можно получить доступ к xdp_bulk_queue (bq) для каждого процессора.
одновременно несколькими вытесняемыми задачами на одном и том же ЦП. Исходный код предполагает выполнение bq_enqueue() и __cpu_map_flush().
атомарно по отношению друг к другу на одном и том же процессоре, полагаясь на
local_bh_disable() для предотвращения вытеснения.
Однако в PREEMPT_RT
local_bh_disable() вызывает миграцию_disable() только (когда
PREEMPT_RT_NEEDS_BH_LOCK не установлен) и не отключает
вытеснение, которое позволяет планированию CFS вытеснять задачу во время
bq_flush_to_queue(), позволяющий войти другой задаче на том же процессоре
bq_enqueue() и одновременно работать с одним и тем же bq для каждого процессора. Это приводит к нескольким гонкам:
1. Двойной __list_del_clearprev(): после сброса bq->count в
bq_flush_to_queue(), задача вытеснения может вызвать bq_enqueue() ->
bq_flush_to_queue() на том же bq, когда bq->count достигает
CPU_MAP_BULK_SIZE.
Обе задачи затем вызывают __list_del_clearprev().
на том же bq->flush_node второй вызов разыменовывает
указатель prev, который первым уже был установлен в NULL.
2. Гонки bq->count и bq->q[]: одновременная работа bq_enqueue() может привести к повреждению
очередь пакетов, пока bq_flush_to_queue() обрабатывает ее. Гонка между задачей А (__cpu_map_flush -> bq_flush_to_queue) и
задача B (bq_enqueue -> bq_flush_to_queue) на том же процессоре:
Задача А (xdp_do_flush) Задача Б (cpu_map_enqueue)
---------------------- ------------------------
bq_flush_to_queue (бк)
spin_lock(&q->producer_lock)
/* сбрасываем bq->q[] в ptr_ring */
бк->счет = 0
spin_unlock(&q->producer_lock)
bq_enqueue (rcpu, xdpf)
<-- CFS вытесняет задачу A --> bq->q[bq->count++] = xdpf
/* ... больше очередей до полного заполнения ... */
bq_flush_to_queue (бк)
spin_lock(&q->producer_lock)
/* сброс в ptr_ring */
spin_unlock(&q->producer_lock)
__list_del_clearprev(flush_node)
/* устанавливаетlush_node.prev = NULL */
<-- Задача A возобновляется -->
__list_del_clearprev(flush_node)
flash_node.prev->следующий = ...
/* предыдущая версия равна NULL -> ядро упс */
Исправьте это, добавив local_lock_t в xdp_bulk_queue и получив его.
в bq_enqueue() и __cpu_map_flush().
Эти пути уже проходят под
local_bh_disable(), поэтому используйте local_lock_nested_bh(), который в не-RT
чистая аннотация без накладных расходов, а PREEMPT_RT обеспечивает
Спящая блокировка для каждого процессора, которая сериализует доступ к bq. Для воспроизведения вставьте mdelay(100) между bq->count = 0 и
__list_del_clearprev() в bq_flush_to_queue(), затем запустите воспроизводитель
предоставлено syzkaller.
Показать оригинальное описание (EN)
In the Linux kernel, the following vulnerability has been resolved: bpf: Fix race in cpumap on PREEMPT_RT On PREEMPT_RT kernels, the per-CPU xdp_bulk_queue (bq) can be accessed concurrently by multiple preemptible tasks on the same CPU. The original code assumes bq_enqueue() and __cpu_map_flush() run atomically with respect to each other on the same CPU, relying on local_bh_disable() to prevent preemption. However, on PREEMPT_RT, local_bh_disable() only calls migrate_disable() (when PREEMPT_RT_NEEDS_BH_LOCK is not set) and does not disable preemption, which allows CFS scheduling to preempt a task during bq_flush_to_queue(), enabling another task on the same CPU to enter bq_enqueue() and operate on the same per-CPU bq concurrently. This leads to several races: 1. Double __list_del_clearprev(): after bq->count is reset in bq_flush_to_queue(), a preempting task can call bq_enqueue() -> bq_flush_to_queue() on the same bq when bq->count reaches CPU_MAP_BULK_SIZE. Both tasks then call __list_del_clearprev() on the same bq->flush_node, the second call dereferences the prev pointer that was already set to NULL by the first. 2. bq->count and bq->q[] races: concurrent bq_enqueue() can corrupt the packet queue while bq_flush_to_queue() is processing it. The race between task A (__cpu_map_flush -> bq_flush_to_queue) and task B (bq_enqueue -> bq_flush_to_queue) on the same CPU: Task A (xdp_do_flush) Task B (cpu_map_enqueue) ---------------------- ------------------------ bq_flush_to_queue(bq) spin_lock(&q->producer_lock) /* flush bq->q[] to ptr_ring */ bq->count = 0 spin_unlock(&q->producer_lock) bq_enqueue(rcpu, xdpf) <-- CFS preempts Task A --> bq->q[bq->count++] = xdpf /* ... more enqueues until full ... */ bq_flush_to_queue(bq) spin_lock(&q->producer_lock) /* flush to ptr_ring */ spin_unlock(&q->producer_lock) __list_del_clearprev(flush_node) /* sets flush_node.prev = NULL */ <-- Task A resumes --> __list_del_clearprev(flush_node) flush_node.prev->next = ... /* prev is NULL -> kernel oops */ Fix this by adding a local_lock_t to xdp_bulk_queue and acquiring it in bq_enqueue() and __cpu_map_flush(). These paths already run under local_bh_disable(), so use local_lock_nested_bh() which on non-RT is a pure annotation with no overhead, and on PREEMPT_RT provides a per-CPU sleeping lock that serializes access to the bq. To reproduce, insert an mdelay(100) between bq->count = 0 and __list_del_clearprev() in bq_flush_to_queue(), then run reproducer provided by syzkaller.