LINUX DO 最新· YuYon·· 2 小时前AI 评分9
部署4B开源模型推理的GPU租用推荐
GPU租用推荐
AI 导读
用户计划长期在公网部署一个4B开源模型进行垂直领域推理,发帖寻求高性价比的GPU租用方案及月度价格参考。提问者指出使用RTX 4090 24G可能存在较多资源浪费,询问8G显存是否足够支撑推理需求,并说明因需要公网访问而不考虑本地部署。
来源:LINUX DO 最新 · linux.do
GPU租用推荐
用户计划长期在公网部署一个4B开源模型进行垂直领域推理,发帖寻求高性价比的GPU租用方案及月度价格参考。提问者指出使用RTX 4090 24G可能存在较多资源浪费,询问8G显存是否足够支撑推理需求,并说明因需要公网访问而不考虑本地部署。
来源:LINUX DO 最新 · linux.do