PyTorch 性能分析（第三部分）：注意力机制全剖析

Hugging Face 发布 PyTorch 性能分析系列第三篇，聚焦注意力机制。文章从朴素注意力实现出发，展示矩阵乘法、缩放、因果掩码等操作在 profiler 中的 kernel 表现，并指出将 masked_fill 改为原地操作 masked_fill_ 可省去每次前向的 Memcpy kernel。所有脚本在 NVIDIA A100-SXM4-80GB 上运行。