Hugging Face 与 Intel Labs 推出 SetFitABSA:少样本细粒度情感分析框架
Intel Labs 与 Hugging Face 联合推出 SetFitABSA 框架,专门用于少样本场景下的基于方面的情感分析(ABSA)。该方案通过 spaCy 提取候选词并利用两阶段 SetFit 模型依次完成方面识别与情感极性分类,完全摆脱了提示词工程与复杂的标注工具。
推荐理由:该框架无需人工编写提示词且依赖极少标注样本,为低成本构建垂直领域细粒度情感分析提供了实用方案。
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
Intel Labs 与 Hugging Face 联合推出 SetFitABSA 框架,专门用于少样本场景下的基于方面的情感分析(ABSA)。该方案通过 spaCy 提取候选词并利用两阶段 SetFit 模型依次完成方面识别与情感极性分类,完全摆脱了提示词工程与复杂的标注工具。
推荐理由:该框架无需人工编写提示词且依赖极少标注样本,为低成本构建垂直领域细粒度情感分析提供了实用方案。
Hugging Face 推出大语言模型推理加速库 Optimum-NVIDIA,结合 NVIDIA TensorRT-LLM 与 Ada Lovelace、Hopper 架构的 FP8 格式,开发者仅需修改单行代码即可完成部署。
推荐理由:该库通过接入 TensorRT-LLM 与 FP8 支持,为需要兼顾首字延迟与批处理吞吐的模型部署团队提供了直接迁移方案。
Hugging Face 宣布与 AMD 合作实现大语言模型在 AMD Instinct GPU 上的开箱即用加速,用户无需修改代码即可直接运行 Transformers 模型。
推荐理由:Transformers 和 TGI 实现了无需修改代码适配 AMD 硬件,开发者可以直接参考其针对大显存与 ROCm 算子的部署方案。
OpenAI 宣布推出 GPTs,支持用户创建结合了自定义指令、扩展知识库以及技能组合的定制版 ChatGPT。用户可以根据特定需求灵活组合各项能力构建专属 AI 助手。
OpenAI 宣布 DALL·E 3 正式向 ChatGPT Plus 和 Enterprise 用户开放。团队构建了多层安全缓解措施以支持更广泛的上线,并同步公开了在内容来源溯源研究方面的最新进展。
推荐理由:OpenAI 将图像生成模型接入付费版 ChatGPT,同时展示了支持规模化上线的安全防护与来源追溯方案。
Hugging Face 推出 JavaScript 库 Gradio-Lite(`@gradio/lite`),利用 WebAssembly 运行时 Pyodide 让 Gradio 应用直接在浏览器内免服务器运行。
推荐理由:文章展示了通过 WebAssembly 将应用搬进浏览器的具体实现,开发者无需后端服务器即可低成本部署与分发交互原型。
Hugging Face 为 Transformers 中的 tokenizer 引入 chat_template 属性,通过 Jinja 模板将对话历史转换为与模型训练完全一致的输入字符串。
推荐理由:原文解释了格式不匹配导致模型性能严重受损的机制,并给出通过 Jinja 模板标准化对话输入的统一方案。
OpenAI 宣布 ChatGPT 推出视觉与语音能力,模型现已能够看、听和说话。
OpenAI 正式推出 ChatGPT Enterprise,主打企业级安全与隐私保护,并提供当时性能最强的 ChatGPT 版本。
Hugging Face 宣布在 Transformers 库中原生集成 AutoGPTQ,支持使用 GPTQ 算法将大语言模型量化至 8、4、3 甚至 2-bit 精度。
推荐理由:原文给出了量化原理与完整集成调用方式,读者可以据此判断如何在消费级 GPU 上部署和微调大模型。
OpenAI 宣布推出 GPT-3.5 Turbo 微调功能与 API 更新。开发者现在可以使用自有数据,针对特定使用场景定制 GPT-3.5 Turbo 模型。
Hugging Face 发布开源软件包 Swift Transformers,旨在为苹果生态开发者提供类似 Transformers 的 API,以在 Mac 等设备上通过 Core ML 运行端侧大语言模型。
推荐理由:文章梳理了将大模型转换为 Core ML 的实操流程与工程避坑点,为苹果生态开发者提供了端侧部署语言模型的现成工具链。
Hugging Face 联合 Apple 为 Stable Diffusion XL 推出了 Core ML 移植方案,通过混合比特调色板量化技术将模型体积缩减了 71%。
推荐理由:通过按层评估信号损失并分配位宽的混合量化方法,可在大幅缩减端侧模型体积的同时维持图像生成质量。
Hugging Face 推出开源库 Agents.js,允许开发者在浏览器或 Node.js 环境中通过 JavaScript 为大语言模型接入工具。该库开箱即用支持多种多模态工具,允许自由扩展自定义工具和模型,并通过 npm 包 `@huggingface/agents` 分发。官方同时提醒,因运行依赖动态执行模型生成的代码,在不可信环境中建议先通过代码生成接口审查内容后再行评估。
推荐理由:该库为前端和 Node.js 开发者在 JavaScript 环境中调度多模态工具与大语言模型提供了轻量且可扩展的实现方案。
OpenAI 宣布为 ChatGPT 推出自定义指令(custom instructions)功能,让用户能够更灵活地控制模型的回复方式。用户只需预先设定个人偏好,ChatGPT 便会在未来的所有对话中持续遵循这些要求。
推荐理由:该功能允许用户预先设定交互偏好并在后续对话中全局生效,读者可以借此减少重复输入背景提示词的成本。
Hugging Face Hub 宣布集成 DuckDB,支持用户直接使用 SQL 查询 Hub 上存储的超过 5 万个公开数据集。Dataset Viewer 会自动将公开数据集转换为 Parquet 格式并切分为 500MB 分片,开发者通过 /parquet 接口获取文件 URL 后,利用 DuckDB 的 httpfs 扩展即可直接对远程文件执行复杂分析查询。
推荐理由:HF Hub 将公开数据集自动转为 Parquet 分片,开发者可直接借助 DuckDB 远程运行 SQL 分析而无需完整下载数据。
Hugging Face 推出面向 Amazon SageMaker 的大语言模型推理容器(LLM DLC),基于 Text Generation Inference(TGI)构建,支持在托管环境中高效部署开源模型。
推荐理由:文章介绍了基于 TGI 的 SageMaker 专用推理容器,提供了从环境配置到多卡部署开源大模型的完整调用范式。
Hugging Face 宣布在 Transformers 和 PEFT 中原生集成 bitsandbytes 的 4-bit 量化与 QLoRA 高效微调技术。
推荐理由:文章详解了 4-bit 量化与 QLoRA 在 Transformers 中的具体配置,开发者可据此在消费级显卡上低显存微调大模型。
Hugging Face 联合 EleutherAI 与 Stability AI 宣布,模型权重存储库 safetensors 已通过 Trail of Bits 的外部安全审计,未发现导致任意代码执行的严重漏洞。
推荐理由:safetensors 通过外部安全审计消除了 pickle 带来的代码执行隐患,为开源模型生态推进安全且高效的权重分发标准奠定了基础。
OpenAI 正式推出 iOS 版 ChatGPT 应用。该应用支持同步用户的对话记录,具备语音输入功能,并将最新的模型改进直接集成到移动端。