Hugging Face·· 2025-01-24精选AI 评分67
Hugging Face 为 smolagents 引入视觉语言模型原生支持
We now support VLMs in smolagents!
AI 导读
Hugging Face 宣布开源智能体框架 smolagents 正式支持视觉语言模型(VLM),使智能体能够在任务流程中原生处理图像。框架不仅支持在任务启动时批量传入图像,还允许通过步骤回调函数动态捕获浏览器截图并写入观测记忆。官方结合 helium 自动化工具与 Qwen2-VL 等模型,演示了让视觉智能体自主浏览网页并提取信息的实现流程。
推荐理由
原文展示了如何通过回调函数动态传入截图让智能体观察网页,为构建基于视觉的浏览器工作流提供了直接参考。
来源:Hugging Face · huggingface.co