Google 联合 Hugging Face 发布开源代码模型 CodeGemma
Google 联合 Hugging Face 上线开源代码模型系列 CodeGemma,包含专攻代码填充的 2B 基础模型、7B 基础模型以及 7B 对话微调模型。
推荐理由:原文给出了 2B 与 7B 版本在代码补全与基准测试中的表现,开发者可直接参考其 FIM 提示词格式与消费级显卡部署方案。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
Google 联合 Hugging Face 上线开源代码模型系列 CodeGemma,包含专攻代码填充的 2B 基础模型、7B 基础模型以及 7B 对话微调模型。
推荐理由:原文给出了 2B 与 7B 版本在代码补全与基准测试中的表现,开发者可直接参考其 FIM 提示词格式与消费级显卡部署方案。
Hugging Face 开源了多模态合成数据集 WebSight-v0.2,包含 200 万对网页截图与 HTML 代码,旨在训练模型将网页设计截图直接转换为可用代码。该版本引入了真实图片并改用 Tailwind CSS,同时展示了据此微调的视觉语言模型 Sightseer 的前端还原能力。目前数据集、技术报告与 Colab 演示均已对外开放。
推荐理由:通过构建结合真实图片与 Tailwind CSS 的两百万对合成数据,为设计稿转网页前端代码提供了标准化的多模态训练基准。
BigCode 联合开源了新一代代码大语言模型 StarCoder2 及代码预训练数据集 The Stack v2,并同步公开所有模型权重、数据集、处理与训练代码。
推荐理由:BigCode开源了代码大语言模型StarCoder2及高质量预训练数据集The Stack v2,覆盖从3B到15B参数规模并公开全部训练细节。
Hugging Face 发布了基于专属代码库训练代码助手 HugCoder 的完整端到端实践教程。内容涵盖从本地仓库提取与过滤代码、基于单张 A100 40GB 运行 QLoRA 与 8 卡 FSDP 全量微调的成本对比,以及利用 PEFT 融合对话与补全两种 LoRA 权重的方法。
推荐理由:教程给出了从私有代码清洗、QLoRA微调到本地IDE部署的完整实现,开发者可直接参考搭建专属编程助手。
Hugging Face 宣布在 Hub、Transformers 4.33 和 TGI 等生态组件中全面支持 Meta 发布的代码大模型 Code Llama。
推荐理由:文章梳理了代码大模型 Code Llama 的规格特性与填充机制,并提供了在开源框架下量化部署与调用的具体范式。
Hugging Face 博客系统讲解了 BigScience 与 BigCode 在大语言模型和代码模型训练数据上使用的 MinHash + LSH 文档级近似去重流程,涵盖 shingling 分词、指纹计算、LSH 分桶以及用 union find 或 Spark 做连通分量聚类的实现细节。
推荐理由:原文完整走通 MinHash 与 LSH 的工程细节并给出规模化实测配置,可直接迁移到自有数据集的去重流程。
Hugging Face 介绍了将 16B 参数代码基座模型 StarCoder 微调为对话助手 StarChat-alpha 的完整方案,并开源了相关代码、数据集与模型。
推荐理由:文章梳理了从 ChatML 格式化、用户标签掩码到 DeepSpeed ZeRO-3 训练的流程,为代码基座模型的对话改造提供了可复现方法。
Hugging Face 与 ServiceNow 联合发起的 BigCode 项目正式发布 15B 参数的代码大语言模型 StarCoderBase 以及面向 Python 微调的 StarCoder。
推荐理由:原文详细披露了 15B 代码模型的训练数据清洗流程与评测对比,为开发者构建开源代码补全与技术助手提供了可迁移基准。
OpenAI 发布了 GPT-3 和 Codex 的新版本,新增在现有文本中编辑或插入内容的功能。这项更新让两款模型不再局限于顺向补全现有文本,能够直接对已有内容进行修改和填充。
推荐理由:新版本改变了此前只能顺向补全文本的工作模式,允许开发者直接在现有文本中进行针对性编辑与内容插入。
OpenAI 在其 API 中推出全新的 embeddings 端点,方便开发者处理自然语言和代码任务。该接口可直接用于语义搜索、聚类、主题建模以及文本分类等场景。
推荐理由:官方提供了新的嵌入向量端点,便于开发者直接用于语义搜索、代码理解和分类等任务。
Hugging Face 详细介绍了如何从零预训练 Python 代码生成模型 CodeParrot,并开源了配套的 50GB 清洗后数据集与模型权重。
推荐理由:提供了从数据去重、分词到分布式预训练的完整工程实现,读者可直接复用其流式训练与多卡加速脚本。
OpenAI 宣布推出 OpenAI Codex 的改进版本,该 AI 系统能够将自然语言转换为代码。该模型即日起通过 API 开启私测(private beta)。
推荐理由:Codex 将自然语言转化为代码并通过 API 开放私测,为开发者提供了基于自然语言生成代码的直接途径。