跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–15 条 · 共 15 条
9月30日周三
  1. Google DeepMind65

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质与结构加水印

    Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,在生物代码中嵌入不可感知的签名,使其不只在数字模型上、也能在合成出的实体蛋白质上被验证,同时保留其生物功能。

    推荐理由:Google DeepMind 把水印技术从图像扩展到蛋白质与 3D 结构,读者可看到生物安全筛查的一层新验证思路。

9月29日周二
  1. Hugging Face Blog69

    NVIDIA 发布表格基础模型 Kumo Tabular,在四个基准排名第一

    NVIDIA 发布开源表格基础模型 Kumo Tabular,属于 Kumo Structured 模型系列,在 Hugging Face 上提供权重。给定带标签行的表格,它在单次前向传播中预测新行标签,无需训练、调参和特征工程,支持分类与回归,提供 28M 至 215M 三档参数规模,采用 OpenMDW-1.1 许可可商用。

    推荐理由:原文公开了表格基础模型的三档规模、单次前向推理方式和四个基准排名,可据此判断无训练微调的表格预测路径。

9月22日周二
  1. Latent Space82

    小米发布 MiMo-V2.6-Pro 与 Flash:新的开放权重模型,训练成本约 300 万美元

    小米发布 MiMo-V2.6 系列,包含原生全模态的 MiMo-V2.6-Pro(1.02T 总参数、42B 激活)和 MiMo-V2.6-Flash,并推出输出速度最高快 20 倍的 UltraSpeed 版本。

    推荐理由:小米 MiMo-V2.6-Pro 以约 300 万美元训练成本登顶开放权重模型,其 RL 环境与训练配方同步开源值得关注。

9月1日周二
  1. Google Research66

    Google 发布 TimesFM-3:面向多变量预测的零样本基础模型

    Google 发布 TimesFM-3,这是其时间序列基础模型的新一代版本,原生支持多变量预测,参数规模 3.3 亿,在超过 1 万亿个时间点的真实与合成时序语料上预训练。

    推荐理由:TimesFM-3 从单变量扩展到原生多变量预测,读者可了解一次前向传播完成多序列预测的架构取舍。

8月25日周二
  1. Hugging Face Blog62

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型反超其全精度版本

    Multiverse Computing 提出 Quantization-Aware Healing(QAH),把 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后,直接在原始预压缩模型上做 KL 蒸馏而非从恢复出的 checkpoint 蒸馏,结果在 9 项基准中的 7 项超过该 60B 模型的 bfloat16 版本。

    推荐理由:论文给出压缩加量化后再蒸馏原始模型的做法,读者可比较其与常规 QAT 在精度和训练稳定性上的差异。

8月6日周四
  1. Google DeepMind76

    Google DeepMind 开源 WeatherNext 气象模型,气旋预测多出一天预警时间

    Google DeepMind 在 Nature 发表论文,称 WeatherNext AI 模型在气旋路径、强度和风场结构预测上达到 SOTA,平均可多提供一天预报时效,三天预报精度相当于此前模型的两天水平。

    推荐理由:官方给出气旋路径与强度预测多出一天预警时间的评估结果,并同时开源模型与权重,可据此判断气象预报模型的可用边界。

8月4日周二
  1. Microsoft Research70

    微软研究院开源 Orchard:面向可扩展智能体的开放框架

    微软研究院开源 Orchard,一个面向可扩展智能体 AI 研究的框架,核心是可在软件工程、网页导航和智能助手等任务间复用的 Orchard Env 环境服务,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练智能体。

    推荐理由:微软研究院开源 Orchard 环境服务与三套训练配方,读者可了解小参数模型在真实 harness 内训练后能达到的智能体水平。

7月21日周二
  1. Hugging Face Blog61

    Hugging Face 发布 Grabette:录制机器人操作数据的开源系统

    Hugging Face 发布开源系统 Grabette,用手持夹爪在几分钟内录制操作任务,并自动转换为可训练的 LeRobot 数据集。Grabette 配备广角鱼眼相机与 RGBD 相机,硬件 BOM 成本约 490€,配套的机器人夹爪 Gripette 成本约 120€,硬件、采集软件、处理流程均已开源。

    推荐理由:原文给出了一套低成本采集操作数据的完整开源方案,读者可以据此了解机器人学习数据瓶颈的另一种解法。

7月7日周二
  1. Hugging Face Blog61

    Hugging Face 与 SkyPilot 联合推出零出网存储集成

    Hugging Face 与 SkyPilot 联合发布集成,用户可用一个 hf:// URL 将 Hugging Face Bucket 或模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes 和本地集群上运行。

    推荐理由:原文给出 hf:// 挂载方式与免费出网机制,读者可据此判断跨云训练工作流的存储成本变化。

6月30日周二
  1. Google Research69

    Google Research 发布 TabFM:面向表格数据的零样本基础模型

    Google Research 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,将表格预测重构为上下文学习(ICL)问题,无需手动训练、超参数调优和特征工程,单次前向传播即可对未见过的表格生成预测。

    推荐理由:TabFM 把零样本思路带到表格分类与回归,读者可据此了解免训练预测在企业数据场景的落地方式。

5月23日周六
  1. Mistral AI60

    Mistral 收购 Physics AI 公司 Emmi,推进工业 AI 布局

    Mistral AI 宣布已就收购 Physics AI 公司 Emmi AI 达成最终协议,以强化其面向工业企业的 AI 转型能力。Emmi AI 成立于奥地利,专注 Physics AI 并开发大型工程模型,可实现实时仿真、替代多日计算并构建数字孪生;其 30 多名研究人员与工程师将在 5 月加入 Mistral 的 Science 与 Applied AI 团队。

    推荐理由:Mistral 收购 Physics AI 公司 Emmi,说明其正把物理建模能力与工程工具接入纳入工业 AI 路线。

4月22日周三
3月18日周三
  1. Mistral AI66

    Mistral AI 发布 Forge,让企业用私有知识训练前沿模型

    Mistral AI 发布 Forge,一套让企业基于专有知识训练前沿级 AI 模型的系统。Forge 覆盖预训练、后训练和强化学习等模型生命周期阶段,支持 dense 与 MoE 架构及多模态输入,并可由 Mistral Vibe 等智能体用自然语言完成微调和调参。

    推荐理由:原文给出企业用私有数据训练前沿模型的分阶段方案与多个行业落地场景,可据此判断企业自建模型的能力边界。