跳到正文
原文
Mistral AI·· 2026-01-22AI 评分52

堆内存会说谎:Mistral 如何排查 vLLM 中的一个内存泄漏

Heaps do lie: debugging a memory leak in vLLM.

AI 导读

Mistral AI 发文复盘其在 vLLM 中排查一处内存泄漏的过程:在生产级流量下,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory,且只在 Prefill/Decode 分离部署、Mistral Medium 3.1 与图编译启用时复现。

来源:Mistral AI · mistral.ai