Hugging Face 发布轻量多模态模型 SmolVLM2，支持端侧视频理解
Hugging Face 推出轻量级多模态模型 SmolVLM2 系列，包含 2.2B、500M 和 256M 三种参数规格，旨在让视频理解能力运行在从手机到服务器的各类设备上。
推荐理由：官方将视频理解能力压缩至轻量级模型并适配端侧框架，为移动端本地视频分析与多模态部署提供了低显存方案。
多模态
全部主题文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
最新精选
第 61–75 条 · 共 75 条Hugging Face精选AI 评分7373
Hugging Face精选AI 评分6767 Hugging Face 为 smolagents 引入视觉语言模型原生支持
Hugging Face 宣布开源智能体框架 smolagents 正式支持视觉语言模型（VLM），使智能体能够在任务流程中原生处理图像。框架不仅支持在任务启动时批量传入图像，还允许通过步骤回调函数动态捕获浏览器截图并写入观测记忆。官方结合 helium 自动化工具与 Qwen2-VL 等模型，演示了让视觉智能体自主浏览网页并提取信息的实现流程。
推荐理由：原文展示了如何通过回调函数动态传入截图让智能体观察网页，为构建基于视觉的浏览器工作流提供了直接参考。
Hugging Face精选AI 评分7575 Google 发布视觉语言模型 PaliGemma 2 并上线 Hugging Face
Google 正式发布多模态视觉语言模型 PaliGemma 2，将 SigLIP 视觉编码器与 Gemma 2 解码器结合，并在 Hugging Face 同步上线。
推荐理由：原文梳理了模型升级细节并给出量化实测数据，读者可以据此评估多模态微调与部署方案。
Hugging Face精选AI 评分6767 Hugging Face 详解 FineVideo 数据集构建流程与标注管线
Hugging Face 详细公开了开源视频数据集 FineVideo 的构建流程，涵盖从 1.9M 原始视频筛选至 43k 视频（约 3.4k 小时）的多阶段技术细节。
推荐理由：原文完整拆解了从海量视频筛选、多模型标注到结构化解析的管线，对构建多模态视频训练集有直接工程参考价值。
Hugging Face精选AI 评分6969 Hugging Face TRL 支持视觉语言模型 DPO 微调实践指南
Hugging Face 宣布 TRL 库正式支持视觉语言模型（VLM）的直接偏好优化（DPO），用于对齐人类偏好并减少多模态幻觉。教程以 Idefics2-8b 为例，结合 bfloat16 与 LoRA 技术将全量训练所需的 160GB 显存降低至 32.3GB，并在 AMBER 幻觉基准测试中改善了表现。目前该流程还兼容 Llava 1.5 与 PaliGemma 等主流模型。
推荐理由：原文给出了多模态模型进行偏好微调的显存计算与参数配置方案，便于开发者以单卡环境落地对齐训练。
Hugging Face精选AI 评分6767 微调微软 Florence-2 视觉语言模型教程
Hugging Face 发布在 DocVQA 数据集上微调微软 Florence-2 视觉语言模型的实操指南，将验证集 Levenshtein 相似度从 0 提升至 57.0。教程通过冻结 DaViT 视觉编码器，使 0.2B 与 0.7B 模型能够在单张 A100 或 T4 GPU 等低算力环境下完成训练，并公开了 Colab 代码与在线 Demo。
推荐理由：教程展示了冻结视觉编码器在单卡环境微调小参数多模态模型的可行路径，为低算力条件下的文档问答任务提供了可迁移方案。
Hugging Face精选AI 评分6565 TII 发布 Falcon 2 11B 基础大语言模型与多模态 VLM
TII 正式推出第二代开源模型 Falcon 2 11B，包括基础大语言模型及集成了图像理解能力的 Falcon 2 11B VLM。该模型基于超过 5000B token 数据完成四阶段训练，上下文窗口扩展至 8192，在多语言与开源基准评测中综合表现比肩前代 Falcon-40B。
推荐理由：该系列以四分之一的参数量达到了前代 40B 的性能水准，同时补充了开源多模态能力以降低推理部署门槛。
Hugging Face精选AI 评分6060 Hugging Face 详解 AI 水印技术与工具：覆盖图像、文本与音频全模态
Hugging Face 发文梳理 AI 生成内容的水印与溯源技术，系统拆解图像、文本与音频三大模态的加水印机制与检测方案。文章对比了生成阶段直接嵌入与生成后标记两种实现路径，介绍了 Nightshade 数据投毒、Truepic C2PA 凭证、TGI 文本水印以及 AudioSeal 音频水印等工具。
推荐理由：梳理了图像、文本和音频生成内容的水印与检测机制，读者可以据此系统了解不同模态防伪溯源的工程实现方案。
OpenAI精选AI 评分9191 ChatGPT 现已能够看、听和说话
OpenAI 宣布 ChatGPT 推出视觉与语音能力，模型现已能够看、听和说话。
Hugging Face精选AI 评分6565 Hugging Face 推出 Agents.js，支持在 JavaScript 中为大语言模型集成工具
Hugging Face 推出开源库 Agents.js，允许开发者在浏览器或 Node.js 环境中通过 JavaScript 为大语言模型接入工具。该库开箱即用支持多种多模态工具，允许自由扩展自定义工具和模型，并通过 npm 包 `@huggingface/agents` 分发。官方同时提醒，因运行依赖动态执行模型生成的代码，在不可信环境中建议先通过代码生成接口审查内容后再行评估。
推荐理由：该库为前端和 Node.js 开发者在 JavaScript 环境中调度多模态工具与大语言模型提供了轻量且可扩展的实现方案。
Hugging Face精选AI 评分6565 Hugging Face 详解 AI WebTV 构建：基于开源视频与音乐模型的全自动直播管线
Hugging Face 推出实验性演示项目 AI WebTV，通过整合开源生成模型展示端到端自动化视频流媒体直播的搭建方案。该方案使用 ChatGPT 扩写分镜提示词，调用 Zeroscope V2 两阶段生成并放大至 1024x576 分辨率视频，经 FILM 算法插帧平滑并混入 MusicGen 生成的配乐，最后通过 FFmpeg 将播放列表推流至 RTMP 服务器。
推荐理由：原文串联了开源文生视频与音频模型及推流工具，为搭建自动化多媒体管线提供了完整的工程参考。
OpenAI精选AI 评分9494 OpenAI 正式发布多模态大语言模型 GPT-4
OpenAI 宣布推出大型多模态模型 GPT-4，支持图像和文本输入并生成文本输出。官方表示该模型是其深度学习扩展工作的最新里程碑，虽然在许多真实世界场景中表现仍不及人类，但在各项专业和学术基准测试中展现出人类水平。
推荐理由：OpenAI 推出支持图文输入的多模态模型 GPT-4，其在专业和学术基准上的表现展示了扩展深度学习的能力边界。
Hugging Face精选AI 评分7575 使用 BLIP-2 实现零样本图像到文本生成指南
Hugging Face Transformers 现已支持 Salesforce Research 开发的视觉语言模型 BLIP-2，可实现低成本的零样本图像到文本生成。该模型通过轻量级 Q-Former 连接冻结的预训练图像编码器与大语言模型，无需进行端到端全量预训练。文章详细提供了环境安装代码，并演示了图像描述、提示图像描述、视觉问答及多轮对话的具体调用方法。
推荐理由：文章演示了通过轻量级 Q-Former 桥接冻结视觉编码器与语言模型的调用方式，为低成本实现多模态交互提供了具体代码范式。
Hugging Face精选AI 评分6262 Hugging Face 深入解析视觉语言模型与 Transformers 实践指南
Hugging Face 发布视觉语言模型全景指南，系统解析了对比学习、PrefixLM、跨注意力融合以及 MLM 与 ITM 等主流预训练策略与数据集。文章同时介绍了 Transformers 库对 CLIP、ViLT、CLIPSeg 等多模态模型的支持，并演示了视觉问答与零样本图像分割的具体调用代码。
推荐理由：文章系统梳理了视觉语言模型的五种主流预训练范式与数据流，并给出在 Transformers 框架下的调用范例，方便开发者快速理解多模态技术路线。
Hugging Face精选AI 评分6060 基于 Hugging Face Transformers 的 CLIPSeg 零样本图像分割实战指南
Hugging Face 发布使用 Transformers 库运行零样本图像分割模型 CLIPSeg 的实战指南。CLIPSeg 在冻结的 CLIP 模型上训练基于 Transformer 的解码器，支持通过文本提示词或参考图像（视觉提示）生成粗略的二值分割掩码；文章同时演示了如何将其输出与标注平台 Segments.ai 结合进行粗标注并后续微调精细分割模型。
推荐理由：教程展示了如何结合文本与图像提示词运行零样本分割，并给出了利用粗分割辅助标注的实践流程。