AWS Machine Learning Blog· Jyothirmai Kottu·· 3 小时前AI 评分29
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 导读
AWS 发布 llama.cpp 专用深度学习容器（DLC），可在 Amazon SageMaker AI 上通过 CPU 或 GPU 托管量化模型，并以 OpenAI 兼容 API 提供 chat completions。
来源：AWS Machine Learning Blog · aws.amazon.com