跳到正文
原文
AWS Machine Learning Blog· Mijanur Palash·· 3 小时前AI 评分56

在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod

AI 导读

AWS 团队在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,使其按指定语言推理。SFT 把推理语言正确率从 22% 提升到 100%,但答案语言正确率只有 62%;再叠加 GRPO 后答案语言正确率提升到 70%。作者还通过 Qwen2.5-7B 在 GSM8K 上的对照实验说明,GRPO 只在模型已有部分正确行为时才有增益。

来源:AWS Machine Learning Blog · aws.amazon.com