最新精选
第 141–160 条 · 共 171 条Hugging Face 发布了基于专属代码库训练代码助手 HugCoder 的完整端到端实践教程。内容涵盖从本地仓库提取与过滤代码、基于单张 A100 40GB 运行 QLoRA 与 8 卡 FSDP 全量微调的成本对比,以及利用 PEFT 融合对话与补全两种 LoRA 权重的方法。
推荐理由:教程给出了从私有代码清洗、QLoRA微调到本地IDE部署的完整实现,开发者可直接参考搭建专属编程助手。
Hugging Face 推出 JavaScript 库 Gradio-Lite(`@gradio/lite`),利用 WebAssembly 运行时 Pyodide 让 Gradio 应用直接在浏览器内免服务器运行。
推荐理由:文章展示了通过 WebAssembly 将应用搬进浏览器的具体实现,开发者无需后端服务器即可低成本部署与分发交互原型。
Hugging Face 为 Transformers 中的 tokenizer 引入 chat_template 属性,通过 Jinja 模板将对话历史转换为与模型训练完全一致的输入字符串。
推荐理由:原文解释了格式不匹配导致模型性能严重受损的机制,并给出通过 Jinja 模板标准化对话输入的统一方案。
Hugging Face 与 T2I-Adapter 作者合作在 diffusers 中正式支持面向 SDXL 的 T2I-Adapter,并开源了线稿、素描、Canny、深度和 OpenPose 等条件控制权重。
推荐理由:原文详细对比了适配器与ControlNet的参数及计算差异,为轻量化图像生成控制提供了具体实现与配置参考。
TII 正式在 Hugging Face 推出开源大语言模型 Falcon 180B,包含基础版与聊天版,拥有 1800 亿参数。该模型基于 RefinedWeb 等 3.5 万亿 token 预训练,规模达 Llama 2 的 2.5 倍,在 MMLU 等基准测试中超越 Llama 2 70B 与 GPT-3.5。
推荐理由:文章提供了 180B 超大开源模型的评测基准成绩以及量化部署所需的显存配置细节。
Hugging Face 宣布在 Transformers 库中原生集成 AutoGPTQ,支持使用 GPTQ 算法将大语言模型量化至 8、4、3 甚至 2-bit 精度。
推荐理由:原文给出了量化原理与完整集成调用方式,读者可以据此判断如何在消费级 GPU 上部署和微调大模型。
Hugging Face 在 TRL 库中集成了 Direct Preference Optimization(DPO)训练器,并提供了微调 Llama 2 7B 模型的完整教程与代码。
推荐理由:给出了省去独立奖励模型的 DPO 对齐实操方案,读者可直接参考代码降低大语言模型的对齐成本。
Hugging Face 推出开源库 Agents.js,允许开发者在浏览器或 Node.js 环境中通过 JavaScript 为大语言模型接入工具。该库开箱即用支持多种多模态工具,允许自由扩展自定义工具和模型,并通过 npm 包 `@huggingface/agents` 分发。官方同时提醒,因运行依赖动态执行模型生成的代码,在不可信环境中建议先通过代码生成接口审查内容后再行评估。
推荐理由:该库为前端和 Node.js 开发者在 JavaScript 环境中调度多模态工具与大语言模型提供了轻量且可扩展的实现方案。
Hugging Face 联合 GitHub、Eleuther AI、Creative Commons、LAION 和 Open Future 发布立场文件,呼吁欧盟《人工智能法案》(EU AI Act)充分考量开源机器学习的协作需求。
推荐理由:这份联合建议展示了开源社区面对重大AI监管立法时,如何围绕代码托管免责、研发豁免和基础模型相称性争取合规边界。
Meta 发布开源大语言模型家族 Llama 2,涵盖 7B、13B 和 70B 参数版本并开放商用许可,Hugging Face 同步提供全生态集成支持。该系列在初代基础上增加了 40% 预训练 token 并将上下文拓展至 4k tokens,经 RLHF 优化的 Llama 2-Chat 在多项基准上接近 ChatGPT 表现。
推荐理由:材料梳理了新模型相比初代的上下文与训练量升级,并提供了基于开源生态的推理部署与微调路径。
Hugging Face 推出实验性演示项目 AI WebTV,通过整合开源生成模型展示端到端自动化视频流媒体直播的搭建方案。该方案使用 ChatGPT 扩写分镜提示词,调用 Zeroscope V2 两阶段生成并放大至 1024x576 分辨率视频,经 FILM 算法插帧平滑并混入 MusicGen 生成的配乐,最后通过 FFmpeg 将播放列表推流至 RTMP 服务器。
推荐理由:原文串联了开源文生视频与音频模型及推流工具,为搭建自动化多媒体管线提供了完整的工程参考。
AMD 正式加入 Hugging Face 硬件合作伙伴计划,双方将针对 AMD 旗下的 CPU、GPU 及 AI 加速芯片深度优化 Transformer 模型的训练与推理性能。
推荐理由:合作打破了深度学习硬件生态的单一依赖,为开发者在训练与推理端提供了基于 AMD 平台的替代方案与成本参考。
Hugging Face 全面支持阿布扎比技术创新研究所(TII)开源的 Falcon 系列大模型(Falcon-7B 与 Falcon-40B),并提供推理、量化与微调工具链。
推荐理由:原文给出了 Falcon 系列模型在消费级与企业级硬件上的量化推理配置,以及结合 QLoRA 单卡微调的完整代码范式。
Hugging Face 推出面向 Amazon SageMaker 的大语言模型推理容器(LLM DLC),基于 Text Generation Inference(TGI)构建,支持在托管环境中高效部署开源模型。
推荐理由:文章介绍了基于 TGI 的 SageMaker 专用推理容器,提供了从环境配置到多卡部署开源大模型的完整调用范式。
Hugging Face 联合 EleutherAI 与 Stability AI 宣布,模型权重存储库 safetensors 已通过 Trail of Bits 的外部安全审计,未发现导致任意代码执行的严重漏洞。
推荐理由:safetensors 通过外部安全审计消除了 pickle 带来的代码执行隐患,为开源模型生态推进安全且高效的权重分发标准奠定了基础。
Hugging Face 与 ServiceNow 联合发起的 BigCode 项目正式发布 15B 参数的代码大语言模型 StarCoderBase 以及面向 Python 微调的 StarCoder。
推荐理由:原文详细披露了 15B 代码模型的训练数据清洗流程与评测对比,为开发者构建开源代码补全与技术助手提供了可迁移基准。
Hugging Face 发布 StackLLaMA 实操教程与模型权重,演示如何结合 TRL 库与 8-bit LoRA 技术对 LLaMA-7B 完成完整的 RLHF 对齐。流程涵盖基于 StackExchange 数据的监督微调、奖励模型训练及 PPO 强化学习全周期,并深入分析了奖励作弊与负 KL 惩罚等训练不稳定性问题及工程应对方案。
推荐理由:原文完整梳理了借助参数高效微调在有限算力下落地人类反馈对齐的工程链路,为开源模型复现相关算法提供了可操作方案。
Hugging Face 正式发布 TRL 与 PEFT 库的集成,支持在单张 24GB 消费级 GPU(如 RTX 4090)上对 20B 参数大语言模型运行基于人类反馈的强化学习(RLHF)微调。
推荐理由:通过 8-bit 量化与适配器动态切换避免双模型副本占用,为显存受限环境下跑通 RLHF 提供了具体工程参考。
Hugging Face 在 Diffusers 库中集成 ControlNet 并推出 StableDiffusionControlNetPipeline,原生支持基于空间条件的高精度图像生成。
推荐理由:原文梳理了多条件控制的调用接口与显存优化方案,开发者可据此在工程中快速落地可控生图。
Hugging Face 宣布与亚马逊云科技 AWS 达成扩大的长期战略合作,将 AWS 作为首选云服务提供商。开发者可在 Amazon SageMaker 和 EC2 上利用 AWS Trainium 与 AWS Inferentia 等专用芯片,快速完成 Hugging Face 模型的训练、微调与部署。双方旨在降低生成式 AI 的使用与算力成本,加速下一代开源模型的构建与落地。
推荐理由:原文披露了 Hugging Face 与 AWS 在专用芯片及 SageMaker 工具链上的深度整合,开发者可以据此评估在云端部署与微调开源模型的成本及方案。