LINUX DO 最新· xiaomonk·· 3 小时前AI 评分18
API 中转站的“蒸馏”分组是什么意思?
看到有些中转站有蒸馏的分组,请问这个蒸馏是什么意思,破甲?
AI 导读
API 中转站中的“蒸馏”分组是指专门用于批量生成数据以微调小模型的接口通道。用户通常借助该分组运行数十万条 prompt 获取模型回答,用于知识蒸馏或训练自定义模型。由于批量蒸馏对大并发和高可用性要求极高且容易触发封号风险,对中转站号池维护成本更高,因此其定价往往高于普通分组。
来源:LINUX DO 最新 · linux.do