跳到正文

Hugging Face

Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。

最新精选

第 281–300 条 · 共 348 条
7月5日周三
  1. Hugging Face63

    如何用 Transformers.js 构建端侧机器学习网页游戏 Doodle Dash

    Hugging Face 发布了基于 Transformers.js 构建纯浏览器端运行机器学习网页游戏 Doodle Dash 的完整教程与开源代码。项目微调了 5.6M 参数量的 apple/mobilevit-small 模型并导出为 ONNX 格式,通过 Web Worker 在独立线程中执行实时推理,预测帧率超过每秒 60 次且无需服务器支持。

    推荐理由:教程展示了轻量视觉模型微调、ONNX 转换及在 Web Worker 中无服务端运行的完整链路,读者可直接复用于端侧交互应用开发。

6月23日周五
  1. Hugging Face68

    Hugging Face 详解 Open LLM Leaderboard 评测机制与 MMLU 分数差异成因

    Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 等模型 MMLU 跑分与论文不一致的原因,指出评测框架的实现细节会导致得分和排名出现显著偏差。

    推荐理由:原文对比了三套主流评测代码的实现细节,读者可以据此理解提示词格式和概率计算方式如何改变基准得分与榜单排名。

6月15日周四
6月13日周二
6月12日周一
  1. Hugging Face69

    Hugging Face 实测基模型能否像人类一样评估标注数据

    Hugging Face 团队联合 Scale AI 展开实测,对比了 GPT-4 与专业人类标注员在评估开源模型表现时的差异。测试显示 GPT-4 虽能维持模型间的大致相对排名,但存在显著的位置偏置、长度偏好,并倾向于给蒸馏自 OpenAI 风格的模型打高分,甚至将人类示范排在开源模型之后。两者打分相关性在头脑风暴等高熵生成任务中可达 0.60,但在代码等低熵任务中降至 0.33。

    推荐理由:该研究对比了 GPT-4 与专业人类标注员在模型评估上的打分差异,揭示出大模型评测存在位置偏好和长度偏置。

6月7日周三
  1. Hugging Face72

    Hugging Face Hub 集成 DuckDB 支持对超 5 万个数据集执行 SQL 查询

    Hugging Face Hub 宣布集成 DuckDB,支持用户直接使用 SQL 查询 Hub 上存储的超过 5 万个公开数据集。Dataset Viewer 会自动将公开数据集转换为 Parquet 格式并切分为 500MB 分片,开发者通过 /parquet 接口获取文件 URL 后,利用 DuckDB 的 httpfs 扩展即可直接对远程文件执行复杂分析查询。

    推荐理由:HF Hub 将公开数据集自动转为 Parquet 分片,开发者可直接借助 DuckDB 远程运行 SQL 分析而无需完整下载数据。

6月5日周一
5月31日周三
5月24日周三
5月23日周二
  1. Hugging Face77

    Hugging Face 宣布 Safetensors 完成外部安全审计并将成为默认模型格式

    Hugging Face 联合 EleutherAI 与 Stability AI 宣布,模型权重存储库 safetensors 已通过 Trail of Bits 的外部安全审计,未发现导致任意代码执行的严重漏洞。

    推荐理由:safetensors 通过外部安全审计消除了 pickle 带来的代码执行隐患,为开源模型生态推进安全且高效的权重分发标准奠定了基础。

  2. Hugging Face60

    Hugging Face 探索基于 InstructPix2Pix 的 Stable Diffusion 指令微调

    Hugging Face 探索了借鉴 FLAN 提示模板对 Stable Diffusion 进行指令微调的方法,通过结合 InstructPix2Pix 训练机制,使扩散模型能够遵循具体文本指令完成图像卡通化及底层图像处理。

    推荐理由:文章结合语言模型的多任务指令微调思路与扩散模型架构,给出了构建图像编辑指令数据集与微调落地的具体方法。

5月16日周二
  1. Hugging Face68

    BigCode 背后的大规模近似去重实践

    Hugging Face 博客系统讲解了 BigScience 与 BigCode 在大语言模型和代码模型训练数据上使用的 MinHash + LSH 文档级近似去重流程,涵盖 shingling 分词、指纹计算、LSH 分桶以及用 union find 或 Spark 做连通分量聚类的实现细节。

    推荐理由:原文完整走通 MinHash 与 LSH 的工程细节并给出规模化实测配置,可直接迁移到自有数据集的去重流程。

5月15日周一
  1. Hugging Face70

    Hugging Face transformers 库正式集成 RWKV 架构

    Hugging Face 宣布在 transformers 库中集成 RWKV 架构,支持开发者直接调用该模型的预训练与对话版本。该架构结合了 Transformer 的并行训练能力与 RNN 推理阶段显存占用恒定的特性,已开放 170M 至 14B 参数量的 RWKV-4 及微调版 Raven 权重。

    推荐理由:文章解析了 RWKV 兼顾并行训练与低显存推理的架构设计,有助于开发者评估线性序列模型在长文本工程中的可行性。

5月11日周四
  1. Hugging Face79

    Hugging Face 推出 Assisted Generation 解码方案以降低文本生成延迟

    Hugging Face 在 Transformers 库中引入 Assisted Generation 解码方法,利用轻量辅助模型生成候选 token 并由主模型单次前向传播并行确认,以此缓解内存带宽瓶颈并降低生成延迟。

    推荐理由:读者可以了解利用小模型生成候选与大模型并行验证的机制,在消费级硬件及显存卸载场景下显著降低推理延迟。

5月8日周一
  1. Hugging Face60

    深入解析文本生成视频模型演进与 Hugging Face 实践

    Hugging Face 官方发布博客全面梳理文本生成视频(Text-to-Video)模型的技术演进、核心瓶颈与工程实践。文章回顾了从早期 GAN 与 VAE、第二代 Transformer 架构到当前扩散模型的三代架构跃迁,剖析了时空一致性计算开销大与高质量配对数据稀缺等挑战。

    推荐理由:文章系统梳理了从 GAN、Transformer 到扩散模型的文生视频技术演进与瓶颈,并提供了可直接复用的 Diffusers 代码范例。

5月4日周四
4月26日周三
4月5日周三
  1. Hugging Face81

    StackLLaMA:使用 RLHF 训练 LLaMA 的实操指南

    Hugging Face 发布 StackLLaMA 实操教程与模型权重,演示如何结合 TRL 库与 8-bit LoRA 技术对 LLaMA-7B 完成完整的 RLHF 对齐。流程涵盖基于 StackExchange 数据的监督微调、奖励模型训练及 PPO 强化学习全周期,并深入分析了奖励作弊与负 KL 惩罚等训练不稳定性问题及工程应对方案。

    推荐理由:原文完整梳理了借助参数高效微调在有限算力下落地人类反馈对齐的工程链路,为开源模型复现相关算法提供了可操作方案。

3月24日周五
3月9日周四
  1. Hugging Face76

    Hugging Face 推出 TRL 与 PEFT 集成:支持在 24GB 消费级 GPU 上对 20B 模型进行 RLHF 微调

    Hugging Face 正式发布 TRL 与 PEFT 库的集成,支持在单张 24GB 消费级 GPU(如 RTX 4090)上对 20B 参数大语言模型运行基于人类反馈的强化学习(RLHF)微调。

    推荐理由:通过 8-bit 量化与适配器动态切换避免双模型副本占用,为显存受限环境下跑通 RLHF 提供了具体工程参考。