Hugging Face 介绍 Unsloth 与 TRL 集成：大语言模型微调提速可达 2 倍且节省显存
Hugging Face 介绍了轻量级微调库 Unsloth 及其与 TRL 工具集的无缝集成，在保证精度零损失的前提下可将大语言模型微调提速最高 2.7 倍并减少最多 74% 显存占用。
推荐理由：文中展示了通过重写反向传播与 Triton 内核加速微调的具体实现，为在有限显存下微调开源模型提供了现成的集成方案。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face精选AI 评分8080
Hugging Face精选AI 评分6161 Hugging Face 开源非扩散文生图模型 aMUSEd
Hugging Face 开源了非扩散文生图模型 aMUSEd，采用掩码图像建模（MIM）架构并开源了完整代码与权重。该模型总参数量约 800M，推理步骤更少且原生支持零样本图像修复，已完整集成进 diffusers 库。模型在 8-bit Adam 和 float16 下微调显存低于 11GB，采用 LoRA 时可进一步降至 7GB。
推荐理由：原文提供了基于掩码图像建模的非扩散文生图方案与推理代码，便于开发者探索小参数量下的快速图像生成。
Hugging Face精选AI 评分7474 Hugging Face 推出 SDXL Dreambooth LoRA 进阶微调指南与训练脚本
Hugging Face 在 diffusers 库中推出了针对 SDXL 的 Dreambooth LoRA 进阶训练脚本，将 Pivotal Tuning 技术与自适应优化器 Prodigy 进行了结合。
推荐理由：结合枢轴微调与自适应优化器系统梳理了参数配置，为图像生成模型的高质量小样本定制提供了可迁移的工程经验。
Hugging Face精选AI 评分7373 利用投机解码将 Whisper 推理速度提升 2 倍
Hugging Face 展示了如何将投机解码应用于 Whisper 语音转录，在保证输出完全一致的前提下将推理速度提升 2 倍。在英语场景中，使用 6 倍速的 distil-large-v2 作为辅助模型仅增加 8% 显存即可实现 2.2 倍加速，多语种搭配 Whisper tiny 也可提速 1.9 倍。该方案最适合较小的 batch size，当批大小超过 4 时加速收益会逐渐消失。
推荐理由：介绍了用蒸馏或小模型作为辅助草稿模型的投机解码方案，为现有语音转录流水线提供了零精度损失的提速工程参考。
Hugging Face精选AI 评分6868 Hugging Face 年度复盘：2023 年开源大模型演进与技术突破
Hugging Face 发布 2023 年开源大模型年度回顾，梳理了行业从追求超大参数转向训练更多数据、参数在 3B 至 70B 之间的高效小模型的范式转移。
推荐理由：原文完整复盘了开源大模型从小尺寸高质量数据预训练到对齐、融合与量化落地的全景路径，有助于梳理技术范式演进脉络。
Hugging Face精选AI 评分7272 Hugging Face 详解混合专家模型（MoE）原理与工程实践
Hugging Face 发布长文系统解析混合专家模型（MoE）的架构机制、发展历史及工程权衡。MoE 通过将 Transformer 的 FFN 层替换为门控网络与多个专家网络，实现条件计算以大幅降低预训练算力开销，并在推理时仅激活部分参数获得更快的计算速度。文章同时指出 MoE 在显存占用、微调泛化稳定性以及跨设备通信负载均衡等方面的核心挑战，并汇总了专家并行、蒸馏、量化等前沿服务化方案。
推荐理由：原文系统梳理了 MoE 门控路由、负载均衡与微调过拟合等关键技术挑战，读者可据此建立稀疏模型工程部署与训练的完整认知框架。
Hugging Face精选AI 评分8888 Hugging Face 全面集成并支持 Mistral 8x7B 开源 MoE 模型
Hugging Face 宣布全面集成 Mistral 发布的开源 MoE 模型 Mixtral 8x7B，并在 Hub、Transformers 及 TGI 中提供完整支持。
推荐理由：文章系统梳理了该 MoE 模型的显存配置要求与量化部署路径，为开源模型的低成本微调及工程落地提供了参考。
Hugging Face精选AI 评分6262 Hugging Face 与 Intel Labs 推出 SetFitABSA：少样本细粒度情感分析框架
Intel Labs 与 Hugging Face 联合推出 SetFitABSA 框架，专门用于少样本场景下的基于方面的情感分析（ABSA）。该方案通过 spaCy 提取候选词并利用两阶段 SetFit 模型依次完成方面识别与情感极性分类，完全摆脱了提示词工程与复杂的标注工具。
推荐理由：该框架无需人工编写提示词且依赖极少标注样本，为低成本构建垂直领域细粒度情感分析提供了实用方案。
Hugging Face精选AI 评分6767 Hugging Face 推出 Optimum-NVIDIA：仅需修改单行代码即可加速大语言模型推理
Hugging Face 推出大语言模型推理加速库 Optimum-NVIDIA，结合 NVIDIA TensorRT-LLM 与 Ada Lovelace、Hopper 架构的 FP8 格式，开发者仅需修改单行代码即可完成部署。
推荐理由：该库通过接入 TensorRT-LLM 与 FP8 支持，为需要兼顾首字延迟与批处理吞吐的模型部署团队提供了直接迁移方案。
Hugging Face精选AI 评分6262 Hugging Face 宣布原生支持 AMD GPU 加速大语言模型
Hugging Face 宣布与 AMD 合作实现大语言模型在 AMD Instinct GPU 上的开箱即用加速，用户无需修改代码即可直接运行 Transformers 模型。
推荐理由：Transformers 和 TGI 实现了无需修改代码适配 AMD 硬件，开发者可以直接参考其针对大显存与 ROCm 算子的部署方案。
Hugging Face精选AI 评分6161 Hugging Face 深度解析 Open LLM Leaderboard 上的 DROP 基准问题并宣布下架
Hugging Face 宣布从 Open LLM Leaderboard 中暂时下架 DROP 评测基准，因排查发现大部分模型得分异常偏低源于实现缺陷。调查表明，DROP 的文本归一化步骤无法正确匹配紧跟换行符的数字，且使用句点作为停止词导致浮点数被强行截断、长回答模型得分受损。由于重新跑完超 50% 错误样本需要消耗巨额 GPU 时间，官方决定等待评测逻辑修复后再行恢复。
推荐理由：原文拆解了评测实现细节对分数造成的失真影响，展示了基准测试中停用词与归一化逻辑的设计陷阱。
Hugging FaceAI 评分4141 Prodigy-HF 发布：直接集成 Hugging Face
Explosion 推出 Prodigy-HF 插件，为数据标注工具 Prodigy 提供直接集成 Hugging Face 生态的代码配方。用户可通过单条命令直接微调 Hugging Face Hub 上的 Transformer 模型，支持 NER 与文本分类任务，并能利用模型预测辅助后续标注。此外，该插件还支持将标注好的数据集直接上传发布至 Hugging Face Hub。
Hugging FaceAI 评分4343 利用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 宣布支持通过 optimum-neuron 在 AWS Inferentia2 上部署 Llama 2 等大语言模型进行文本生成。开发者可通过简易 API 将模型编译导出为 Neuron 格式，或直接调用 pipeline 执行生成。
Hugging FaceAI 评分3535 Hugging Face Hub 推出存储区域功能（Storage Regions）
Hugging Face 为 Enterprise Hub 推出存储区域（Storage Regions）功能，允许组织自主选择模型和数据集的存储位置。该功能目前支持美国和欧盟区域，亚太区域即将上线，非默认位置仓库会直接展示区域标签。将仓库保存在欧盟区域不仅能满足 GDPR 等合规要求，还可使欧洲本地的上传与下载速度提升约 4-5 倍。
Hugging Face精选AI 评分7575 Hugging Face 发布专属代码助手训练教程：基于私有代码库微调 StarCoder 并接入 VS Code
Hugging Face 发布了基于专属代码库训练代码助手 HugCoder 的完整端到端实践教程。内容涵盖从本地仓库提取与过滤代码、基于单张 A100 40GB 运行 QLoRA 与 8 卡 FSDP 全量微调的成本对比，以及利用 PEFT 融合对话与补全两种 LoRA 权重的方法。
推荐理由：教程给出了从私有代码清洗、QLoRA微调到本地IDE部署的完整实现，开发者可直接参考搭建专属编程助手。
Hugging Face精选AI 评分6565 Hugging Face 详解 SDXL 推理加速与显存优化技巧
Hugging Face 针对 Stable Diffusion XL（SDXL）的显存占用和推理耗时瓶颈，在 🤗 Diffusers 中梳理了一套轻量优化方案。
推荐理由：文章对比了半精度、编译加速与分片卸载对延迟与显存的实测影响，为消费级硬件部署扩散模型提供了具体的调优路径。
Hugging Face精选AI 评分7676 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 推出 JavaScript 库 Gradio-Lite（`@gradio/lite`），利用 WebAssembly 运行时 Pyodide 让 Gradio 应用直接在浏览器内免服务器运行。
推荐理由：文章展示了通过 WebAssembly 将应用搬进浏览器的具体实现，开发者无需后端服务器即可低成本部署与分发交互原型。
Hugging FaceAI 评分4545 在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 正式支持在 Cloud TPU 上通过 JAX 运行 Stable Diffusion XL（SDXL）推理。
Hugging Face精选AI 评分7676 Hugging Face 推出 Chat Templates 功能，解决对话模型格式不匹配导致的性能衰减
Hugging Face 为 Transformers 中的 tokenizer 引入 chat_template 属性，通过 Jinja 模板将对话历史转换为与模型训练完全一致的输入字符串。
推荐理由：原文解释了格式不匹配导致模型性能严重受损的机制，并给出通过 Jinja 模板标准化对话输入的统一方案。
Hugging FaceAI 评分3030 Hugging Face 伦理与社会简报第 5 期：走进华盛顿与 2023 年夏季思考
Hugging Face 发布第 5 期伦理与社会简报，总结其向欧盟、英国和美国立法机构建言的成果，包括 CEO Clem 在美国国会作证并参与参议院 AI Insight Forum。在常规技术工作方面，团队针对新多模态模型 IDEFICS 开展了偏见与危害测试，更新了平台内容政策，并推进了强化学习（RLHF）在伦理 AI 落地中的研究。
Hugging FaceAI 评分5757 非工程师指南：无代码微调与部署 LLaMA 2 聊天机器人
Hugging Face 发布面向非技术用户的无代码教程，演示如何通过 Spaces、AutoTrain 和 ChatUI 训练并部署开源对话机器人。流程先在 Spaces 中启动 AutoTrain 应用，上传 CSV 指令数据集微调 LLaMA 2 7B 基座模型，再通过 ChatUI Docker 模板挂载生成的模型并完成 Web 界面部署。
Hugging FaceAI 评分5555 Amazon SageMaker 部署 Llama 2 基准评测：60 种配置的成本与性能对比
Hugging Face 发布了在 Amazon SageMaker 上使用其专用推理容器部署 Llama 2 的全面基准评测，覆盖 3 种模型尺寸、多种 EC2 实例及并发等级共 60 种配置。
Hugging FaceAI 评分3838 Rocket Money 携手 Hugging Face：在生产环境中扩展高波动机器学习模型
个人财务应用 Rocket Money 采用 Hugging Face 的 Inference API 托管 BERT 系列文本分类模型，以替代原有的正则表达式交易分类系统。面对每月超 1 亿笔交易和 4000 多个分类类别的突发流量，该托管方案让团队无需组建专属 MLOps 团队，即可满足低延迟与动态扩缩容需求。
Hugging Face精选AI 评分6161 Transformers 原生量化方案对比：bitsandbytes 与 auto-gptq 性能基准与选型指南
Hugging Face 对 Transformers 原生支持的 bitsandbytes 与 auto-gptq 进行了全面基准测试与对比。实测表明 bitsandbytes 无需校准数据集且跨模态兼容性好，适配器微调速度更优；auto-gptq 在文本生成推理速度和权重序列化上优势明显。官方建议可在微调阶段采用 bitsandbytes，合并权重后再通过 GPTQ 量化部署。
推荐理由：文章提供了实测数据对比 bitsandbytes 与 GPTQ 在推理和微调上的表现，方便开发者选型量化方案。
Hugging Face精选AI 评分7373 Diffusers 正式支持 SDXL T2I-Adapter 并开源多条件控制权重
Hugging Face 与 T2I-Adapter 作者合作在 diffusers 中正式支持面向 SDXL 的 T2I-Adapter，并开源了线稿、素描、Canny、深度和 OpenPose 等条件控制权重。
推荐理由：原文详细对比了适配器与ControlNet的参数及计算差异，为轻量化图像生成控制提供了具体实现与配置参考。
Hugging Face精选AI 评分7878 TII 开源 1800 亿参数大模型 Falcon 180B 并上线 Hugging Face
TII 正式在 Hugging Face 推出开源大语言模型 Falcon 180B，包含基础版与聊天版，拥有 1800 亿参数。该模型基于 RefinedWeb 等 3.5 万亿 token 预训练，规模达 Llama 2 的 2.5 倍，在 MMLU 等基准测试中超越 Llama 2 70B 与 GPT-3.5。
推荐理由：文章提供了 180B 超大开源模型的评测基准成绩以及量化部署所需的显存配置细节。
Hugging FaceAI 评分2828 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
消费奖励平台 Fetch 借助 Amazon SageMaker 与 Hugging Face 深度学习容器优化 ML 流水线，将其最慢收据扫描的处理延迟降低了 50%。在每周处理超 8000 万张收据的负载下，Fetch 在 12 个月内构建、训练并部署了 5 个以上 ML 模型，使文档理解模型的准确率提升了 200%。
Hugging Face精选AI 评分6161 AudioLDM 2 推理加速指南：利用 Diffusers 将生成时间缩短至 1 秒内
Hugging Face 介绍了在 Diffusers 库中加速文本生成音频模型 AudioLDM 2 的多项优化方案，成功将 10 秒音频样本的生成耗时从 14 秒缩短至 1 秒以内。
推荐理由：文章系统梳理了扩散音频模型从调度器替换、编译到显存卸载的完整提速步骤，方法可直接复用到其他基于 Diffusers 的生成任务。
Hugging Face精选AI 评分7878 Hugging Face Transformers 正式集成 AutoGPTQ 支持 4 位量化与微调
Hugging Face 宣布在 Transformers 库中原生集成 AutoGPTQ，支持使用 GPTQ 算法将大语言模型量化至 8、4、3 甚至 2-bit 精度。
推荐理由：原文给出了量化原理与完整集成调用方式，读者可以据此判断如何在消费级 GPU 上部署和微调大模型。
Hugging FaceAI 评分5454 Hugging Face 推出面向企业的自托管代码助手解决方案 SafeCoder
Hugging Face 宣布推出面向企业客户的商业代码助手解决方案 SafeCoder，支持在客户自有基础设施上完整自托管，代码在训练和推理过程中均不离开 VPC。该方案初期基于 StarCoder 模型构建，由 Hugging Face 提供硬件加速的容器化微调与推理支持，并与 VMware 合作发布参考架构以加速部署。
Hugging FaceAI 评分5858 使用 🤗 Transformers 优化 Bark 语音合成模型推理性能
Hugging Face 推出基于 Transformers、Optimum 与 Accelerate 优化 TTS 模型 Bark 的实践指南，通过简单代码改动降低显存并提升推理速度。
Hugging FaceAI 评分5252 使用 BentoML 部署 Hugging Face 上的 DeepFloyd IF 实践教程
Hugging Face 发布使用开源部署框架 BentoML 部署文生图模型 DeepFloyd IF 的实践指南，重点解决级联扩散模型在云原生生产环境中的服务化难题。教程详细演示了将三阶段生成模型分别分配至不同 GPU 运行的配置方法，并指导如何通过 BentoML 统一管理模型权重、编写服务逻辑、构建包含全部依赖的 Bento 制品，最终容器化部署至 Kubernetes。
Hugging Face精选AI 评分7070 使用 DPO 微调 Llama 2：Hugging Face TRL 实战教程
Hugging Face 在 TRL 库中集成了 Direct Preference Optimization（DPO）训练器，并提供了微调 Llama 2 7B 模型的完整教程与代码。
推荐理由：给出了省去独立奖励模型的 DPO 对齐实操方案，读者可直接参考代码降低大语言模型的对齐成本。
Hugging Face精选AI 评分6565 Hugging Face 推出 Agents.js，支持在 JavaScript 中为大语言模型集成工具
Hugging Face 推出开源库 Agents.js，允许开发者在浏览器或 Node.js 环境中通过 JavaScript 为大语言模型接入工具。该库开箱即用支持多种多模态工具，允许自由扩展自定义工具和模型，并通过 npm 包 `@huggingface/agents` 分发。官方同时提醒，因运行依赖动态执行模型生成的代码，在不可信环境中建议先通过代码生成接口审查内容后再行评估。
推荐理由：该库为前端和 Node.js 开发者在 JavaScript 环境中调度多模态工具与大语言模型提供了轻量且可扩展的实现方案。
Hugging Face精选AI 评分6262 Hugging Face 联合 GitHub 等就欧盟 AI 法案发布立场文件：提出保护开源的五项建议
Hugging Face 联合 GitHub、Eleuther AI、Creative Commons、LAION 和 Open Future 发布立场文件，呼吁欧盟《人工智能法案》（EU AI Act）充分考量开源机器学习的协作需求。
推荐理由：这份联合建议展示了开源社区面对重大AI监管立法时，如何围绕代码托管免责、研发豁免和基础模型相称性争取合规边界。
Hugging Face精选AI 评分9696 Meta 开源大语言模型 Llama 2，Hugging Face 提供全面集成支持
Meta 发布开源大语言模型家族 Llama 2，涵盖 7B、13B 和 70B 参数版本并开放商用许可，Hugging Face 同步提供全生态集成支持。该系列在初代基础上增加了 40% 预训练 token 并将上下文拓展至 4k tokens，经 RLHF 优化的 Llama 2-Chat 在多项基准上接近 ChatGPT 表现。
推荐理由：材料梳理了新模型相比初代的上下文与训练量升级，并提供了基于开源生态的推理部署与微调路径。
Hugging Face精选AI 评分6565 Hugging Face 详解 AI WebTV 构建：基于开源视频与音乐模型的全自动直播管线
Hugging Face 推出实验性演示项目 AI WebTV，通过整合开源生成模型展示端到端自动化视频流媒体直播的搭建方案。该方案使用 ChatGPT 扩写分镜提示词，调用 Zeroscope V2 两阶段生成并放大至 1024x576 分辨率视频，经 FILM 算法插帧平滑并混入 MusicGen 生成的配乐，最后通过 FFmpeg 将播放列表推流至 RTMP 服务器。
推荐理由：原文串联了开源文生视频与音频模型及推流工具，为搭建自动化多媒体管线提供了完整的工程参考。
Hugging FaceAI 评分3737 在 Habana Gaudi2 上加速视觉语言模型 BridgeTower
Optimum Habana v1.7 在 Habana Gaudi2 上微调 866M 参数的视觉语言模型 BridgeTower 时，相比 Nvidia A100 提速 x2.5，相比 H100 提速 x1.4。
Hugging Face精选AI 评分6868 Hugging Face 详解 Open LLM Leaderboard 评测机制与 MMLU 分数差异成因
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 等模型 MMLU 跑分与论文不一致的原因，指出评测框架的实现细节会导致得分和排名出现显著偏差。
推荐理由：原文对比了三套主流评测代码的实现细节，读者可以据此理解提示词格式和概率计算方式如何改变基准得分与榜单排名。
Hugging FaceAI 评分4040 Panel 模板上线 Hugging Face Spaces
Panel 与 Hugging Face 展开合作，在 Hugging Face Spaces 中集成了 Panel 模板，方便开发者构建并部署 Panel 应用。