基于本地 4B 路由与多渠道聚合的个人 AI 网关搭建实践

作者在 MacBook Pro 上搭建了一套接管全部 LLM 调用的个人 AI 网关，通过自研 FastAPI 决策层与 LiteLLM 聚合底座实现本地小模型语义分诊和云端模型路由。该系统利用本地 4B 模型进行分诊裁决并清洗推理过程中的 think 标签以防下游污染，成功统一接入 Cursor、Codex CLI 和 Claude Code 等多个客户端并实现全流程调用审计。