给出LiteLLM1.109.0五项迁移配置,说明fallback列表、local缓存、router_settings硬限流、Gemini参数和Lens独立部署,并区分LTS/旧补丁/RC。
LiteLLM 1.109.0五项兼容调整,1.108.5 LTS、1.106.8和1.110.0-rc.1各修复什么
时间:2026-11-16
浏览:451
文章目录
LiteLLM多分支维护记录不能只按版本号大小选择。1.109.0明确要求五项配置迁移,1.108.5 LTS和1.106.8分别回补特定修复,1.110.0-rc.1仍是候选。评估时需区分列表格式、缓存持久性、router_settings限流、采样参数和Lens资源变化,再分别验收实际业务与费用结果。

先把字符串fallback目标改成列表
1.109.0要求fallback目标使用模型名称列表。下面是现有fallbacks字段的替换片段,保持它在原配置中的层级;your-primary-model和your-backup-model分别替换为现有model_list中的实际模型组名,不是提供商密钥或固定模型型号:
fallbacks:
- your-primary-model:
- your-backup-model
目标值成为列表后,才符合这次迁移要求。模型组存在、路由是否可达和实际故障转移是否成功仍需分别判断,不能把YAML格式正确当作上游调用成功。

从disk切换时要区分内存与持久性
仍使用cache_params.type: disk的代理会在启动时失败。若选择本地内存缓存,可把现有litellm_settings中的缓存部分调整为以下片段,其他已有设置保留:
litellm_settings:
cache: true
cache_params:
type: local
local是内存缓存,不保留原磁盘缓存在单机重启后的持久性。需要Redis时应使用redis及对应连接配置,不能只改类型却省略实际连接前提。遗留disk_cache_dir在其他缓存类型旁会被忽略并警告,不会恢复已移除的磁盘后端。
硬rpm上限需要显式的可选检查
仅有enable_pre_call_checks: true不再因部署达到rpm而把它排除。需要继续强制现有部署rpm硬上限时,在router_settings加入或合并这项检查,已有其他optional_pre_call_checks条目保留:
router_settings:
optional_pre_call_checks:
- enforce_model_rate_limits
这里的层级是router_settings,而不是litellm_settings。它配合部署已配置的限额工作,不会凭空创建一个rpm数值;超过相应限额时的429属于限流结果,不能简单等同提供商故障。
Gemini参数丢弃不等于重新支持采样
官方迁移针对Gemini 3.6 Flash、3.5 Flash-Lite及更新型号中的temperature、top_p和top_k。可停止发送这些参数,或在代理采用下面的全局处理片段:
litellm_settings:
drop_params: true
drop_params让不受目标模型支持的参数被丢弃,而不是使这些采样控制突然得到支持。全局配置影响范围比单个部署更广,多个litellm_settings片段应合并进同一个映射,不能复制成重复顶层键。仍需核对业务是否依赖那些已经不再生效的控制。
Lens改为独立部署,旧捆绑资源有升级风险
两套LiteLLM Helm图表不再部署Lens。已通过独立Lens图表完成部署、获得实际内外访问地址和两个已有Secret名称后,可在LiteLLM的values中配置连接。以下域名和Secret名称均为占位示例,需替换,内容不是Secret值:
lens:
enabled: true
url: "https://lens.example.internal"
publicUrl: "https://lens.example.com"
gatewaySecret:
name: "your-lens-gateway-secret"
serviceTokenSecret:
name: "your-lens-service-token-secret"
Secret键默认分别为gateway-secret和service-token。这段values只是连接已有Lens,不负责部署Lens或ClickHouse;连接与鉴权能否成功仍是独立结果。仍启用旧lensWorker模式会导致图表渲染失败;升级还会移除原捆绑Lens、ClickHouse和Secret资源,迁移前必须把现有资源与数据保留方案对应清楚,不能直接把一次升级当作无损迁移。
稳定版新增能力与默认展示应单独记录
1.109.0还加入流式响应中途故障转移续写、用于关闭LiteLLM自身主动获取的LITELLM_OFFLINE_MODE,以及带模型中心、生图和用量信息的Chat UI。Chat页面默认展示,已经保存enable_chat_ui: false的部署仍保持隐藏;默认展示不等于取消账号权限。
不同维护分支的修复不能合成一个包
1.108.5 LTS修复工作负载身份认证在图像编辑、音频、文件、批处理等非聊天路由的401问题,以及ollama_chat/流式并行工具调用索引、Messages API额外丢弃参数和部分FLAC转录计费。1.106.8回移转录计费修复,优先采用提供商有效usage.seconds,再依据可靠测得的时长处理。无法取得可靠长度时代理可能记录零费用,这不代表提供商免费,费用记录仍需对账。
1.104.9和1.103.11另有SpendLogs缺失索引在迁移后创建的回补;1.103.11还改善多副本同时连接同一数据库启动的可靠性。它们是其他维护基线的记录,不能把分支号混成统一升级包。
1.110.0-rc.1仍是候选版,其中total_timeout限制整个非流式请求,并有路由、作用域和Redis相关修复。不能把该限制解释为所有流式请求的总超时,也不能仅凭候选版本号更大就替代既定稳定或LTS部署。各段配置示例只说明迁移结构,真实配置兼容、限流、费用与回退结果仍需分别验收。
实用工具推荐
绿化、压缩、噪点和虚拟水印,自由调节做旧程度。
选择画质和输出格式,预览压缩前后的大小。