跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 38 条
9月30日周三
  1. AWS Machine Learning Blog67

    在 Amazon Bedrock AgentCore Runtime Instances 上构建多智能体音乐制作流水线

    AWS 官方博客演示如何在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线:作曲智能体用 Claude Sonnet 4.6 生成音乐简报并在实例自带的 NVIDIA L4 上运行开源音乐生成模型 ACE-Step,20 秒 48kHz 立体声渲染约 9 秒。

    推荐理由:文章给出三智能体共享 GPU 实例视频/音频流水线的完整代码与踩坑点,可迁移到其他长时任务编排。

9月29日周二
  1. AWS Machine Learning Blog60

    xAI 的 Grok 4.7 上线 Amazon Bedrock

    xAI 的 Grok 4.7 已在 Amazon Bedrock 上线,支持 500K token 上下文窗口和 low、medium、high、xhigh 四档可配置推理强度,通过 bedrock-runtime 的跨区域推理配置提供,并支持 Responses、Chat Completions 和 Converse API。

    推荐理由:文章给出 Grok 4.7 在 Bedrock 上的接入方式与四档推理强度成本权衡,可供工程选型参考。

9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首登 MLPerf Inference v6.1,吞吐最高达 GB300 NVL72 的 3.7 倍

    NVIDIA 在 MLPerf Inference v6.1 首次提交 Vera Rubin NVL72 预览成绩,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高为 2.5 倍。

    推荐理由:NVIDIA 官方首次公布 Vera Rubin NVL72 的 MLPerf 推理成绩,并给出跨机架扩展与软件迭代的量化对比,可供判断推理经济学走向。

9月10日周四
9月5日周六
8月25日周二
  1. Hugging Face Blog62

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型反超其全精度版本

    Multiverse Computing 提出 Quantization-Aware Healing(QAH),把 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后,直接在原始预压缩模型上做 KL 蒸馏而非从恢复出的 checkpoint 蒸馏,结果在 9 项基准中的 7 项超过该 60B 模型的 bfloat16 版本。

    推荐理由:论文给出压缩加量化后再蒸馏原始模型的做法,读者可比较其与常规 QAT 在精度和训练稳定性上的差异。

8月20日周四
8月12日周三
  1. Google DeepMind67

    Google DeepMind 发布手语转文本模型 SL2T,首发落地 Gboard 与 Live Transcribe

    Google DeepMind 发布手语转文本模型 SL2T,以超过 10 万小时、50 多种手语的数据训练,实现手语到文本的机器翻译。该模型首先在 Pixel 11 的 Gboard 与 Live Transcribe 中上线,支持美国手语(ASL)转英文,可用来搜索、写消息或向 Gemini 提问,更多设备和语言将后续支持。

    推荐理由:官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 首次落地消费产品的工程取舍。

8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与优先级服务,并新增欧洲算力联盟

    Mistral 宣布三项推进主权 AI 的动作:Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲还是美国运行;Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的可用性承诺。

    推荐理由:Mistral 把推理区域选择、SLA 保障与第三方开源模型接入放进同一平台,可看作欧洲主权 AI 基础设施的具体落地路径。

8月10日周一
8月4日周二
  1. Microsoft Research70

    微软研究院开源 Orchard:面向可扩展智能体的开放框架

    微软研究院开源 Orchard,一个面向可扩展智能体 AI 研究的框架,核心是可在软件工程、网页导航和智能助手等任务间复用的 Orchard Env 环境服务,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练智能体。

    推荐理由:微软研究院开源 Orchard 环境服务与三套训练配方,读者可了解小参数模型在真实 harness 内训练后能达到的智能体水平。

7月23日周四
7月21日周二
7月8日周三
  1. Hugging Face Blog62

    vLLM 的 transformers 建模后端实现原生速度

    Hugging Face 宣布 vLLM 的 transformers 建模后端现在在许多 LLM 架构上达到或超过 vLLM 手写实现的速度。该后端通过 torch.fx 做静态图分析并借助 ast 在运行时重写算子、融合为 vLLM 优化内核,模型作者只需加 --model-impl transformers 一个参数即可用上极速 vLLM 推理。

    推荐理由:原文给出了让 transformers 模型免改代码即可达到 vLLM 原生推理速度的机制与实测对比,读者可据此判断自建部署的迁移成本。

7月7日周二
  1. Hugging Face Blog61

    Hugging Face 与 SkyPilot 联合推出零出网存储集成

    Hugging Face 与 SkyPilot 联合发布集成,用户可用一个 hf:// URL 将 Hugging Face Bucket 或模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes 和本地集群上运行。

    推荐理由:原文给出 hf:// 挂载方式与免费出网机制,读者可据此判断跨云训练工作流的存储成本变化。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一条实时语音到语音流水线,采用开源可替换的级联架构。语音识别用 Nvidia 的 Parakeet,语言模型用 Google DeepMind 的 Gemma 4 31B 在 Cerebras 上推理,文本转语音用 Alibaba 的 Qwen3TTS。

    推荐理由:Hugging Face 与 Cerebras 联合演示开源语音到语音流水线,读者可了解各层组件如何组合与何处替换。

6月24日周三
  1. Mistral AI63

    Mistral AI 为 Connectors 增加管理员权限、密钥作用域与调试功能

    Mistral AI 宣布 Connectors 多项新能力:管理员可按 workspace 或组织设置连接器访问、逐工具开关,带连接器作用域的 API key 和服务账号防止自动化任务冒用身份,多账号连接器支持一个连接器绑定多个账号,Connectors Debugger 处于公开预览,可对 MCP 连接做 11 步根因分析。

    推荐理由:从权限管理、密钥作用域到连接调试,这组功能给出了企业级智能体接入外部数据的治理路径。