vLLM 的 transformers 建模后端实现原生速度

Hugging Face 宣布 vLLM 的 transformers 建模后端现在在许多 LLM 架构上达到或超过 vLLM 手写实现的速度。该后端通过 torch.fx 做静态图分析并借助 ast 在运行时重写算子、融合为 vLLM 优化内核，模型作者只需加 --model-impl transformers 一个参数即可用上极速 vLLM 推理。