跳到正文

#推理

今日 0 条
9月28日周一
8月25日周二
  1. Hugging Face Blog62

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型反超其全精度版本

    Multiverse Computing 提出 Quantization-Aware Healing(QAH),把 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后,直接在原始预压缩模型上做 KL 蒸馏而非从恢复出的 checkpoint 蒸馏,结果在 9 项基准中的 7 项超过该 60B 模型的 bfloat16 版本。

    推荐理由:论文给出压缩加量化后再蒸馏原始模型的做法,读者可比较其与常规 QAT 在精度和训练稳定性上的差异。

8月17日周一
6月27日周六
6月25日周四
  1. Google Research41

    Google Research 研究:推理如何解锁 LLM 的参数化知识回忆

    Google Research 在 COLM 2026 论文《Thinking to Recall》中提出,让 LLM 生成推理轨迹能解锁原本无法触及的参数化事实,且这一效应在简单单跳问题上同样成立。研究用 Gemini-2.5 Flash/Pro 和 Qwen3-32B 在 SimpleQA Verified、EntityQuestions 上对比推理开关,识别出计算缓冲与事实启动两种机制。

4月22日周三
4月20日周一
  1. Berkeley AI Research42

    GRASP:面向世界模型长时程规划的梯度规划器

    Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态、在状态迭代上直接加入随机性、重塑梯度三招,让基于世界模型的长时程规划更稳健。GRASP 把轨迹提升到虚拟状态,使优化可跨时间并行,同时避免经由高维视觉模型的脆弱状态输入梯度。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。

4月16日周四
3月13日周五
9月1日周一