python · vllmAtenção
vllm: Validação de temperatura aceita NaN e Inf, causando comportamento indefinido
A validação de temperatura em sampling_params.
O que mudou
A validação de temperatura em sampling_params.py usa operadores de comparação que passam silenciosamente valores NaN e +Inf, levando a comportamento indefinido ou erros CUDA nos kernels de amostragem da GPU.
Quem isso afeta
Todos os usuários do vllm que permitem valores de temperatura fornecidos pelo usuário sem validação adequada.
O que fazer hoje
Aplique o fix do PR #45116 para adicionar a verificação math.isfinite() em _verify_args() e rejeitar valores float não finitos.
A esteira
Coletado→
Auditado→
Redigido→
Publicado