Hugging Face·· 2025-12-11精选AI 评分75
llama.cpp 新增模型管理功能支持多模型动态切换
New in llama.cpp: Model Management
AI 导读
llama.cpp server 正式上线路由模式(router mode),支持在无需重启服务的情况下动态加载、卸载和在多个模型间切换。该功能采用多进程架构隔离运行各个模型,提供自动发现本地 GGUF 缓存、按需加载以及基于 LRU 策略自动卸载超额模型(默认最多常驻 4 个)等特性。
推荐理由
llama.cpp 通过多进程架构与 LRU 机制实现动态模型管理,为本地部署与多模型切换提供了无需重启服务的轻量化方案。
来源:Hugging Face · huggingface.co