跳到正文

#Hugging Face

今日 0 条
1月4日周四
  1. Hugging Face61

    Hugging Face 开源非扩散文生图模型 aMUSEd

    Hugging Face 开源了非扩散文生图模型 aMUSEd,采用掩码图像建模(MIM)架构并开源了完整代码与权重。该模型总参数量约 800M,推理步骤更少且原生支持零样本图像修复,已完整集成进 diffusers 库。模型在 8-bit Adam 和 float16 下微调显存低于 11GB,采用 LoRA 时可进一步降至 7GB。

    推荐理由:原文提供了基于掩码图像建模的非扩散文生图方案与推理代码,便于开发者探索小参数量下的快速图像生成。

1月2日周二
12月20日周三
  1. Hugging Face73

    利用投机解码将 Whisper 推理速度提升 2 倍

    Hugging Face 展示了如何将投机解码应用于 Whisper 语音转录,在保证输出完全一致的前提下将推理速度提升 2 倍。在英语场景中,使用 6 倍速的 distil-large-v2 作为辅助模型仅增加 8% 显存即可实现 2.2 倍加速,多语种搭配 Whisper tiny 也可提速 1.9 倍。该方案最适合较小的 batch size,当批大小超过 4 时加速收益会逐渐消失。

    推荐理由:介绍了用蒸馏或小模型作为辅助草稿模型的投机解码方案,为现有语音转录流水线提供了零精度损失的提速工程参考。

12月18日周一
  1. Hugging Face68

    Hugging Face 年度复盘:2023 年开源大模型演进与技术突破

    Hugging Face 发布 2023 年开源大模型年度回顾,梳理了行业从追求超大参数转向训练更多数据、参数在 3B 至 70B 之间的高效小模型的范式转移。

    推荐理由:原文完整复盘了开源大模型从小尺寸高质量数据预训练到对齐、融合与量化落地的全景路径,有助于梳理技术范式演进脉络。

12月11日周一
  1. Hugging Face72

    Hugging Face 详解混合专家模型(MoE)原理与工程实践

    Hugging Face 发布长文系统解析混合专家模型(MoE)的架构机制、发展历史及工程权衡。MoE 通过将 Transformer 的 FFN 层替换为门控网络与多个专家网络,实现条件计算以大幅降低预训练算力开销,并在推理时仅激活部分参数获得更快的计算速度。文章同时指出 MoE 在显存占用、微调泛化稳定性以及跨设备通信负载均衡等方面的核心挑战,并汇总了专家并行、蒸馏、量化等前沿服务化方案。

    推荐理由:原文系统梳理了 MoE 门控路由、负载均衡与微调过拟合等关键技术挑战,读者可据此建立稀疏模型工程部署与训练的完整认知框架。

12月6日周三
  1. Hugging Face62

    Hugging Face 与 Intel Labs 推出 SetFitABSA:少样本细粒度情感分析框架

    Intel Labs 与 Hugging Face 联合推出 SetFitABSA 框架,专门用于少样本场景下的基于方面的情感分析(ABSA)。该方案通过 spaCy 提取候选词并利用两阶段 SetFit 模型依次完成方面识别与情感极性分类,完全摆脱了提示词工程与复杂的标注工具。

    推荐理由:该框架无需人工编写提示词且依赖极少标注样本,为低成本构建垂直领域细粒度情感分析提供了实用方案。

12月5日周二
  1. Hugging Face67

    Hugging Face 推出 Optimum-NVIDIA:仅需修改单行代码即可加速大语言模型推理

    Hugging Face 推出大语言模型推理加速库 Optimum-NVIDIA,结合 NVIDIA TensorRT-LLM 与 Ada Lovelace、Hopper 架构的 FP8 格式,开发者仅需修改单行代码即可完成部署。

    推荐理由:该库通过接入 TensorRT-LLM 与 FP8 支持,为需要兼顾首字延迟与批处理吞吐的模型部署团队提供了直接迁移方案。

12月1日周五
  1. Hugging Face61

    Hugging Face 深度解析 Open LLM Leaderboard 上的 DROP 基准问题并宣布下架

    Hugging Face 宣布从 Open LLM Leaderboard 中暂时下架 DROP 评测基准,因排查发现大部分模型得分异常偏低源于实现缺陷。调查表明,DROP 的文本归一化步骤无法正确匹配紧跟换行符的数字,且使用句点作为停止词导致浮点数被强行截断、长回答模型得分受损。由于重新跑完超 50% 错误样本需要消耗巨额 GPU 时间,官方决定等待评测逻辑修复后再行恢复。

    推荐理由:原文拆解了评测实现细节对分数造成的失真影响,展示了基准测试中停用词与归一化逻辑的设计陷阱。

11月7日周二
  1. Hugging Face41

    Prodigy-HF 发布:直接集成 Hugging Face

    Explosion 推出 Prodigy-HF 插件,为数据标注工具 Prodigy 提供直接集成 Hugging Face 生态的代码配方。用户可通过单条命令直接微调 Hugging Face Hub 上的 Transformer 模型,支持 NER 与文本分类任务,并能利用模型预测辅助后续标注。此外,该插件还支持将标注好的数据集直接上传发布至 Hugging Face Hub。

11月3日周五
  1. Hugging Face35

    Hugging Face Hub 推出存储区域功能(Storage Regions)

    Hugging Face 为 Enterprise Hub 推出存储区域(Storage Regions)功能,允许组织自主选择模型和数据集的存储位置。该功能目前支持美国和欧盟区域,亚太区域即将上线,非默认位置仓库会直接展示区域标签。将仓库保存在欧盟区域不仅能满足 GDPR 等合规要求,还可使欧洲本地的上传与下载速度提升约 4-5 倍。

10月27日周五
  1. Hugging Face75

    Hugging Face 发布专属代码助手训练教程:基于私有代码库微调 StarCoder 并接入 VS Code

    Hugging Face 发布了基于专属代码库训练代码助手 HugCoder 的完整端到端实践教程。内容涵盖从本地仓库提取与过滤代码、基于单张 A100 40GB 运行 QLoRA 与 8 卡 FSDP 全量微调的成本对比,以及利用 PEFT 融合对话与补全两种 LoRA 权重的方法。

    推荐理由:教程给出了从私有代码清洗、QLoRA微调到本地IDE部署的完整实现,开发者可直接参考搭建专属编程助手。

10月24日周二
10月19日周四
10月3日周二
9月29日周五
  1. Hugging Face30

    Hugging Face 伦理与社会简报第 5 期:走进华盛顿与 2023 年夏季思考

    Hugging Face 发布第 5 期伦理与社会简报,总结其向欧盟、英国和美国立法机构建言的成果,包括 CEO Clem 在美国国会作证并参与参议院 AI Insight Forum。在常规技术工作方面,团队针对新多模态模型 IDEFICS 开展了偏见与危害测试,更新了平台内容政策,并推进了强化学习(RLHF)在伦理 AI 落地中的研究。

9月28日周四
9月26日周二
9月19日周二
  1. Hugging Face38

    Rocket Money 携手 Hugging Face:在生产环境中扩展高波动机器学习模型

    个人财务应用 Rocket Money 采用 Hugging Face 的 Inference API 托管 BERT 系列文本分类模型,以替代原有的正则表达式交易分类系统。面对每月超 1 亿笔交易和 4000 多个分类类别的突发流量,该托管方案让团队无需组建专属 MLOps 团队,即可满足低延迟与动态扩缩容需求。

9月12日周二
  1. Hugging Face61

    Transformers 原生量化方案对比:bitsandbytes 与 auto-gptq 性能基准与选型指南

    Hugging Face 对 Transformers 原生支持的 bitsandbytes 与 auto-gptq 进行了全面基准测试与对比。实测表明 bitsandbytes 无需校准数据集且跨模态兼容性好,适配器微调速度更优;auto-gptq 在文本生成推理速度和权重序列化上优势明显。官方建议可在微调阶段采用 bitsandbytes,合并权重后再通过 GPTQ 量化部署。

    推荐理由:文章提供了实测数据对比 bitsandbytes 与 GPTQ 在推理和微调上的表现,方便开发者选型量化方案。

9月8日周五
9月6日周三
  1. Hugging Face78

    TII 开源 1800 亿参数大模型 Falcon 180B 并上线 Hugging Face

    TII 正式在 Hugging Face 推出开源大语言模型 Falcon 180B,包含基础版与聊天版,拥有 1800 亿参数。该模型基于 RefinedWeb 等 3.5 万亿 token 预训练,规模达 Llama 2 的 2.5 倍,在 MMLU 等基准测试中超越 Llama 2 70B 与 GPT-3.5。

    推荐理由:文章提供了 180B 超大开源模型的评测基准成绩以及量化部署所需的显存配置细节。

9月1日周五
8月30日周三
  1. Hugging Face61

    AudioLDM 2 推理加速指南:利用 Diffusers 将生成时间缩短至 1 秒内

    Hugging Face 介绍了在 Diffusers 库中加速文本生成音频模型 AudioLDM 2 的多项优化方案,成功将 10 秒音频样本的生成耗时从 14 秒缩短至 1 秒以内。

    推荐理由:文章系统梳理了扩散音频模型从调度器替换、编译到显存卸载的完整提速步骤,方法可直接复用到其他基于 Diffusers 的生成任务。

8月23日周三
8月22日周二
  1. Hugging Face54

    Hugging Face 推出面向企业的自托管代码助手解决方案 SafeCoder

    Hugging Face 宣布推出面向企业客户的商业代码助手解决方案 SafeCoder,支持在客户自有基础设施上完整自托管,代码在训练和推理过程中均不离开 VPC。该方案初期基于 StarCoder 模型构建,由 Hugging Face 提供硬件加速的容器化微调与推理支持,并与 VMware 合作发布参考架构以加速部署。

8月9日周三
  1. Hugging Face52

    使用 BentoML 部署 Hugging Face 上的 DeepFloyd IF 实践教程

    Hugging Face 发布使用开源部署框架 BentoML 部署文生图模型 DeepFloyd IF 的实践指南,重点解决级联扩散模型在云原生生产环境中的服务化难题。教程详细演示了将三阶段生成模型分别分配至不同 GPU 运行的配置方法,并指导如何通过 BentoML 统一管理模型权重、编写服务逻辑、构建包含全部依赖的 Bento 制品,最终容器化部署至 Kubernetes。

8月8日周二
7月24日周一
  1. Hugging Face65

    Hugging Face 推出 Agents.js,支持在 JavaScript 中为大语言模型集成工具

    Hugging Face 推出开源库 Agents.js,允许开发者在浏览器或 Node.js 环境中通过 JavaScript 为大语言模型接入工具。该库开箱即用支持多种多模态工具,允许自由扩展自定义工具和模型,并通过 npm 包 `@huggingface/agents` 分发。官方同时提醒,因运行依赖动态执行模型生成的代码,在不可信环境中建议先通过代码生成接口审查内容后再行评估。

    推荐理由:该库为前端和 Node.js 开发者在 JavaScript 环境中调度多模态工具与大语言模型提供了轻量且可扩展的实现方案。

  2. Hugging Face62

    Hugging Face 联合 GitHub 等就欧盟 AI 法案发布立场文件:提出保护开源的五项建议

    Hugging Face 联合 GitHub、Eleuther AI、Creative Commons、LAION 和 Open Future 发布立场文件,呼吁欧盟《人工智能法案》(EU AI Act)充分考量开源机器学习的协作需求。

    推荐理由:这份联合建议展示了开源社区面对重大AI监管立法时,如何围绕代码托管免责、研发豁免和基础模型相称性争取合规边界。

7月18日周二
  1. Hugging Face96

    Meta 开源大语言模型 Llama 2,Hugging Face 提供全面集成支持

    Meta 发布开源大语言模型家族 Llama 2,涵盖 7B、13B 和 70B 参数版本并开放商用许可,Hugging Face 同步提供全生态集成支持。该系列在初代基础上增加了 40% 预训练 token 并将上下文拓展至 4k tokens,经 RLHF 优化的 Llama 2-Chat 在多项基准上接近 ChatGPT 表现。

    推荐理由:材料梳理了新模型相比初代的上下文与训练量升级,并提供了基于开源生态的推理部署与微调路径。

7月17日周一
  1. Hugging Face65

    Hugging Face 详解 AI WebTV 构建:基于开源视频与音乐模型的全自动直播管线

    Hugging Face 推出实验性演示项目 AI WebTV,通过整合开源生成模型展示端到端自动化视频流媒体直播的搭建方案。该方案使用 ChatGPT 扩写分镜提示词,调用 Zeroscope V2 两阶段生成并放大至 1024x576 分辨率视频,经 FILM 算法插帧平滑并混入 MusicGen 生成的配乐,最后通过 FFmpeg 将播放列表推流至 RTMP 服务器。

    推荐理由:原文串联了开源文生视频与音频模型及推流工具,为搭建自动化多媒体管线提供了完整的工程参考。

6月29日周四
6月23日周五
  1. Hugging Face68

    Hugging Face 详解 Open LLM Leaderboard 评测机制与 MMLU 分数差异成因

    Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 等模型 MMLU 跑分与论文不一致的原因,指出评测框架的实现细节会导致得分和排名出现显著偏差。

    推荐理由:原文对比了三套主流评测代码的实现细节,读者可以据此理解提示词格式和概率计算方式如何改变基准得分与榜单排名。

6月22日周四
6月20日周二
  1. Hugging Face35

    Hugging Face 回应美国 NTIA 的 AI 问责制征集意见

    Hugging Face 针对美国商务部 NTIA 的 AI 问责政策征集提交正式回应,强调透明度标准与文档记录规范在推动问责中的核心作用。其建议问责机制应覆盖机器学习开发的全流程而非仅关注部署阶段,并主张结合内部规范与外部访问验证。同时,问责体系需吸纳开发者、多学科研究群体与政策制定者等多方利益相关者共同参与。