IA Squad
BuscarEN
python · vllmAtenção

vllm: Validação de temperatura aceita NaN e Inf, causando comportamento indefinido

A validação de temperatura em sampling_params.

18 Jun 2026Leitura 1 minSeveridade: agende este mês

O que mudou

A validação de temperatura em sampling_params.py usa operadores de comparação que passam silenciosamente valores NaN e +Inf, levando a comportamento indefinido ou erros CUDA nos kernels de amostragem da GPU.

Quem isso afeta

Todos os usuários do vllm que permitem valores de temperatura fornecidos pelo usuário sem validação adequada.

O que fazer hoje

Aplique o fix do PR #45116 para adicionar a verificação math.isfinite() em _verify_args() e rejeitar valores float não finitos.

A esteira
Coletado Auditado Redigido Publicado