跳到正文
原文
V2EX 热门· qshine·· 11 小时前AI 评分72

开发者开源单张 4090 从零跑通 QLoRA 微调与 vLLM 部署实操手册

[分享创造] 写了本开源中文手册:一张 4090 从零走通 QLoRA 微调 + vLLM 部署,给不做算法的开发者

AI 导读

开发者 qshine 开源了一本面向非算法背景开发者的微调实操手册,提供单张 RTX 4090(24 GB)完成 QLoRA 微调至 vLLM 部署的全流程。手册基于 Qwen3-4B-Instruct-2507 模型,涵盖权重保存重载、BF16 合并、部署兼容 OpenAI 接口以及流式调用与压测。配套提供 9 章正文与 5 个附录电子书、可直接运行的 Notebook 及对应对话数据集。

来源:V2EX 热门 · v2ex.com