跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

143条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 141–143 条 · 共 143 条
5月25日周二
  1. Hugging Face71

    Gradio 2.0 支持单行代码调用与混用 Hugging Face 模型

    Gradio 2.0 正式支持仅用一行代码为 Hugging Face Model Hub 上的模型构建 Web GUI 交互界面。该功能默认调用 Hugging Face 托管的 Inference API,也支持本地安装 transformers 运行。此外,新版本支持将多个模型并行对比或串联构建工作流,便于快速搭建多模型复合应用。

    推荐理由:读者可以通过该方案掌握仅用单行代码为开源模型构建交互界面,并将多个模型进行串联或并联组合的轻量演示方法。

4月16日周五
  1. Hugging Face74

    Hugging Face 推出 PyTorch 分布式训练库 Accelerate

    Hugging Face 正式推出开源训练库 Accelerate,让开发者仅需在原生 PyTorch 训练脚本中增加数行代码,即可在 CPU、多 GPU、TPU 以及混合精度等不同硬件配置下无缝运行。该库通过统一的 API 自动接管设备放置、模型包装与 DataLoader 分发,同时提供简化的 CLI 工具以统一各环境的启动流程。

    推荐理由:原文展示了仅需改动数行代码即可适配多卡与混合精度的方案,读者可参考其封装方式降低原生训练循环的跨硬件维护成本。

1月30日周四