LiteLLM 1.109.0五项兼容调整,1.108.5 LTS、1.106.8和1.110.0-rc.1各修复什么

作者:开源拾贝

时间:2026-11-16

浏览:451

给出LiteLLM1.109.0五项迁移配置,说明fallback列表、local缓存、router_settings硬限流、Gemini参数和Lens独立部署,并区分LTS/旧补丁/RC。

文章目录

LiteLLM多分支维护记录不能只按版本号大小选择。1.109.0明确要求五项配置迁移,1.108.5 LTS和1.106.8分别回补特定修复,1.110.0-rc.1仍是候选。评估时需区分列表格式、缓存持久性、router_settings限流、采样参数和Lens资源变化,再分别验收实际业务与费用结果。

LiteLLM产品封面

先把字符串fallback目标改成列表

1.109.0要求fallback目标使用模型名称列表。下面是现有fallbacks字段的替换片段,保持它在原配置中的层级;your-primary-model和your-backup-model分别替换为现有model_list中的实际模型组名,不是提供商密钥或固定模型型号:

fallbacks:
  - your-primary-model:
      - your-backup-model

目标值成为列表后,才符合这次迁移要求。模型组存在、路由是否可达和实际故障转移是否成功仍需分别判断,不能把YAML格式正确当作上游调用成功。

LiteLLM 1.109.0官方五项Action required迁移摘要

从disk切换时要区分内存与持久性

仍使用cache_params.type: disk的代理会在启动时失败。若选择本地内存缓存,可把现有litellm_settings中的缓存部分调整为以下片段,其他已有设置保留:

litellm_settings:
  cache: true
  cache_params:
    type: local

local是内存缓存,不保留原磁盘缓存在单机重启后的持久性。需要Redis时应使用redis及对应连接配置,不能只改类型却省略实际连接前提。遗留disk_cache_dir在其他缓存类型旁会被忽略并警告,不会恢复已移除的磁盘后端。

硬rpm上限需要显式的可选检查

仅有enable_pre_call_checks: true不再因部署达到rpm而把它排除。需要继续强制现有部署rpm硬上限时,在router_settings加入或合并这项检查,已有其他optional_pre_call_checks条目保留:

router_settings:
  optional_pre_call_checks:
    - enforce_model_rate_limits

这里的层级是router_settings,而不是litellm_settings。它配合部署已配置的限额工作,不会凭空创建一个rpm数值;超过相应限额时的429属于限流结果,不能简单等同提供商故障。

Gemini参数丢弃不等于重新支持采样

官方迁移针对Gemini 3.6 Flash、3.5 Flash-Lite及更新型号中的temperature、top_p和top_k。可停止发送这些参数,或在代理采用下面的全局处理片段:

litellm_settings:
  drop_params: true

drop_params让不受目标模型支持的参数被丢弃,而不是使这些采样控制突然得到支持。全局配置影响范围比单个部署更广,多个litellm_settings片段应合并进同一个映射,不能复制成重复顶层键。仍需核对业务是否依赖那些已经不再生效的控制。

Lens改为独立部署,旧捆绑资源有升级风险

两套LiteLLM Helm图表不再部署Lens。已通过独立Lens图表完成部署、获得实际内外访问地址和两个已有Secret名称后,可在LiteLLM的values中配置连接。以下域名和Secret名称均为占位示例,需替换,内容不是Secret值:

lens:
  enabled: true
  url: "https://lens.example.internal"
  publicUrl: "https://lens.example.com"
  gatewaySecret:
    name: "your-lens-gateway-secret"
  serviceTokenSecret:
    name: "your-lens-service-token-secret"

Secret键默认分别为gateway-secret和service-token。这段values只是连接已有Lens,不负责部署Lens或ClickHouse;连接与鉴权能否成功仍是独立结果。仍启用旧lensWorker模式会导致图表渲染失败;升级还会移除原捆绑Lens、ClickHouse和Secret资源,迁移前必须把现有资源与数据保留方案对应清楚,不能直接把一次升级当作无损迁移。

稳定版新增能力与默认展示应单独记录

1.109.0还加入流式响应中途故障转移续写、用于关闭LiteLLM自身主动获取的LITELLM_OFFLINE_MODE,以及带模型中心、生图和用量信息的Chat UI。Chat页面默认展示,已经保存enable_chat_ui: false的部署仍保持隐藏;默认展示不等于取消账号权限。

不同维护分支的修复不能合成一个包

1.108.5 LTS修复工作负载身份认证在图像编辑、音频、文件、批处理等非聊天路由的401问题,以及ollama_chat/流式并行工具调用索引、Messages API额外丢弃参数和部分FLAC转录计费。1.106.8回移转录计费修复,优先采用提供商有效usage.seconds,再依据可靠测得的时长处理。无法取得可靠长度时代理可能记录零费用,这不代表提供商免费,费用记录仍需对账。

1.104.9和1.103.11另有SpendLogs缺失索引在迁移后创建的回补;1.103.11还改善多副本同时连接同一数据库启动的可靠性。它们是其他维护基线的记录,不能把分支号混成统一升级包。

1.110.0-rc.1仍是候选版,其中total_timeout限制整个非流式请求,并有路由、作用域和Redis相关修复。不能把该限制解释为所有流式请求的总超时,也不能仅凭候选版本号更大就替代既定稳定或LTS部署。各段配置示例只说明迁移结构,真实配置兼容、限流、费用与回退结果仍需分别验收。

实用工具推荐

电子包浆

绿化、压缩、噪点和虚拟水印,自由调节做旧程度。

使用 ›
图片压缩

选择画质和输出格式,预览压缩前后的大小。

使用 ›