大模型输出调音台：Temperature与Top P

理解大模型选词机制：Temperature与Top P参数详解

在深入了解参数调节方法之前，有必要先弄清楚一个核心原理：大语言模型每生成一个词，本质上就是在做一道“选择题”。这个过程远比想象中更直观。

举例来说，当输入“今天天气真”，模型会对词表里的每一个候选词打分（这个分数称为logits），然后通过数学转换将这些分数转换为选择概率：

词表概率分布（示例）:"好"→ 0.35(35%)"不错"→ 0.20(20%)"热"→ 0.15(15%)"冷"→ 0.10(10%)"糟糕"→ 0.05(5%)...其他几千个词 → 0.15(15%)

接下来的步骤是采样（Sampling）——根据这个概率分布，从中抽取一个词作为输出。

关键问题在于：如何抽取最合适？

• 永远选择概率最高的词？虽然稳定，但过于死板，导致生成内容千篇一律。
• 完全按概率随机抽签？又容易混乱，可能跑偏甚至胡说八道。
• 因此，需要Temperature和Top P这两把“尺子”来辅助调控。

一、Temperature：控制输出的创意程度

1.1 一句话解释

简单来说，Temperature（温度）调控的是概率分布的“形态”——是更尖锐集中，还是更平坦均匀。

• Temperature较高 → 分布被拉平，各词被选中的概率差距缩小 → 输出更随机、更有创意，但也可能更“天马行空”。
• Temperature较低 → 分布变得更陡峭，高概率词的优势更加突出 → 输出更确定、更保守，即所谓的“不会整活”。
• Temperature直接设为0 → 等于每次只选最高概率的词，也称为贪心解码（Greedy Decoding）。

1.2 数学原理（一句话即可理解）

背后的数学计算其实简单得有些出乎意料：

logits_after = logits / temperatureprobs = softmax(logits_after)

操作过程：将模型算出的原始分数（logits）除以温度值，再执行一次softmax转换。温度越低，分母越小，数值放大，概率差距拉大；温度越高，分母越大，数值缩小，概率变得更为均匀。

通过一个直观例子可以完全理解。以下用简单代码模拟五个候选词在不同温度下的概率分布变化：

import torchimport torch.nn.functional as Fdef apply_temperature(logits, temperature):"""logits: 模型原始输出 (vocab_size,)temperature: 温度参数"""# 核心就这一行：logits 除以 temperaturescaled_logits = logits / temperature# 然后 softmax 转成概率probs = F.softmax(scaled_logits, dim=-1)return probs# ============ 直观感受不同温度的效果 ============logits = torch.tensor([2.0, 1.0, 0.5, 0.1, -1.0])# 5个候选词for t in [0.1, 0.5, 1.0, 2.0, 5.0]:probs = apply_temperature(logits, t)print(f"T={t}: {probs.numpy().round(3)}")

输出结果：

T=0.1: [0.881 0.107 0.006 0.004 0.001] ← 几乎锁定第一个词T=0.5: [0.576 0.241 0.105 0.051 0.026] ← 倾向于第一个，但其他也有机会露头T=1.0: [0.351 0.192 0.117 0.071 0.031] ← 原始分布，这就是默认状态T=2.0: [0.227 0.185 0.149 0.114 0.077] ← 分布越来越均匀了T=5.0: [0.167 0.154 0.141 0.124 0.104] ← 几乎接近完全随机的均匀分布

1.3 用一个比喻理解

可以将模型选词想象为选秀节目里评委打分的场景：

1.4 不同场景的推荐值

二、Top P（核采样）：精准控制随机范围

2.1 为什么需要 Top P？

Temperature虽然好用，但它是对整个概率分布“无差别下手”。这会导致一个尴尬局面：有时模型对某个词的倾向性非常强，例如“好”这个词的概率已经达到0.9，其他成千上万个词加起来才0.1。此时哪怕将Temperature设得很高，模型大概率还是只选“好”，因为差距实在太大，难以拉平。

但在另一些场景里，概率分布十分均匀，多个候选词的概率都比较接近：

"继续往下说" 的续写概率:"因为"→ 0.25"所以"→ 0.20"而且"→ 0.18"但是"→ 0.15"不过"→ 0.10...其他 → 0.12

在这种情况下，最理想的方式是让模型从那几个高概率的词中选取一个，而不是偶尔蹦出一个概率只有0.01的“怪词”把整句话带偏。

这就是Top P（也称核采样，Nucleus Sampling）要解决的问题。它好比在主持节目时只从最热门的几个节目里选，不去搭理冷门的怪选项。

2.2 核心思想

Top P的操作非常朴素：将候选词按概率从高到低排序，然后从排头开始依次累加概率，直到累计值大于某个阈值P为止。排序到这一步之后，那些概率更低、更冷门的选项直接被淘汰，只在这个划定的“圈子”里采样。

Top P = 0.9 的示例:排序后的概率:"好"→ 0.35累计: 0.35"不错"→ 0.20累计: 0.55"热"→ 0.15累计: 0.70"冷"→ 0.10累计: 0.80"糟糕"→ 0.05累计: 0.85"还行"→ 0.06累计: 0.91 超过 0.9，截断！...其他全部丢弃最终采样范围: [“好”, “不错”, “热”, “冷”, “糟糕”]

2.3 代码实现

查看代码更容易理解：

import torchimport torch.nn.functional as Fdef top_p_sampling(logits, top_p=0.9):"""logits: (vocab_size,) 模型原始输出top_p: 核采样的概率阈值"""# 1. softmax 得到概率probs = F.softmax(logits, dim=-1)# 2. 按概率从高到低排序sorted_probs, sorted_indices = torch.sort(probs, descending=True)# 3. 计算累计概率cumulative_probs = torch.cumsum(sorted_probs, dim=-1)# 4. 找到累计概率超过 top_p 的位置# 移除累计概率超过 top_p 的词sorted_indices_to_remove = cumulative_probs - sorted_probs > top_p# 5. 把被移除的词的概率设为 0sorted_probs[sorted_indices_to_remove] = 0.0# 6. 重新归一化sorted_probs = sorted_probs / sorted_probs.sum()# 7. 从过滤后的分布中采样next_token = torch.multinomial(sorted_probs, num_samples=1)# 8. 映射回原始词表索引actual_token = sorted_indices[next_token]return actual_token.item()# ============ 使用示例 ============logits = torch.randn(50000)# 假设词表大小 50000# Top P = 0.9：在前 90% 概率的词中采样token = top_p_sampling(logits, top_p=0.9)print(f"采样结果: {token}")

2.4 Top P 的推荐值

三、Top K：Top P 的“老前辈”

3.1 Top K 是什么？

在Top P出现之前，大家更常用的是Top K。它的逻辑更简单直接：无论概率分布如何，只保留概率最高的K个词，其余全部丢弃。

Top K = 3 的示例:原始概率:"好"→ 0.35 保留"不错"→ 0.20 保留"热"→ 0.15 保留"冷"→ 0.10 丢弃"糟糕"→ 0.05 丢弃...其他全部丢弃重新归一化:"好"→ 0.35/0.70 = 0.50"不错"→ 0.20/0.70 = 0.29"热"→ 0.15/0.70 = 0.21

3.2 Top K vs Top P

3.3 代码实现

可以看出，Top K的思路就是直接截断，非常干脆：

def top_k_sampling(logits, top_k=50):"""Top K 采样"""# 1. 找到概率最高的 K 个top_k_values, top_k_indices = torch.topk(logits, top_k)# 2. 过滤：把不在 Top K 中的 logits 设为 -inffiltered_logits = torch.full_like(logits, float('-inf'))filtered_logits.scatter_(0, top_k_indices, top_k_values)# 3. softmax 采样probs = F.softmax(filtered_logits, dim=-1)next_token = torch.multinomial(probs, num_samples=1)return next_token.item()

四、Repetition Penalty：防止复读机

4.1 问题来了

大模型有一个相当常见的“不良习性”：特别喜欢重复自己说过的话。

用户: 讲个笑话模型: 从前有个人，从前有个人，从前有个人...

之所以会这样，是因为模型在生成过程中，已经产出的词会反过来影响后续的概率分布，使其潜意识里更倾向于“重复自己”。

4.2 Repetition Penalty 如何解决？

解决问题的思路也很直接：如果发现某个词已经出现过，就人为地给它“降降分”，压低它再次被选中的概率。

def apply_repetition_penalty(logits, token_ids, penalty=1.2):"""logits: (vocab_size,) 当前步的 logitstoken_ids: 已经生成过的 token 列表penalty: 惩罚系数 (> 1.0)"""for token_id in set(token_ids):# 如果 logits > 0，除以 penalty（降低概率）# 如果 logits < 0，乘以 penalty（也降低概率）if logits[token_id] > 0:logits[token_id] = logits[token_id] / penaltyelse:logits[token_id] = logits[token_id] * penaltyreturn logits# 示例logits = torch.tensor([2.0, 1.5, 0.8, -0.5, -1.0])already_generated = [0, 2]# 词 0 和词 2 已经生成过了penalized = apply_repetition_penalty(logits.clone(), already_generated, penalty=1.2)print(f"惩罚前: {logits}")print(f"惩罚后: {penalized}")# 惩罚前: tensor([ 2.0,1.5,0.8, -0.5, -1.0])# 惩罚后: tensor([ 1.67,1.5,0.67, -0.6, -1.0])# ↑词0降了↑词2降了

五、参数组合：实战调参指南

5.1 常见组合推荐

理论讲完，直接上干货。针对不同任务，以下总结一套基础配置可供参考：

# ============ 不同场景的参数配置 ============configs = {"代码生成": {"temperature": 0.1,"top_p": 0.1, # 几乎只选最高概率，极保守"top_k": 1, # 等于贪心解码，不提则已，提则唯一"repetition_penalty": 1.0,# 代码不怕重复，函数名、变量名本来就常重复"max_tokens": 2048,},"中文翻译": {"temperature": 0.3,"top_p": 0.85,"top_k": 40,"repetition_penalty": 1.1,"max_tokens": 1024,},"通用对话": {"temperature": 0.7,"top_p": 0.9, # 最经典的组合，绝大多数情况下的选择"top_k": 50,"repetition_penalty": 1.1,"max_tokens": 2048,},"创意写作": {"temprature": 1.0,"top_p": 0.95,"top_k": 100,"repetition_penalty": 1.15,"max_tokens": 4096,},"头脑风暴": {"temperature": 1.2,"top_p": 0.95,"top_k": 100,"repetition_penalty": 1.2, # 创意场景最怕复读，重复的想法可太无聊了"max_tokens": 4096,},}

5.2 调参的黄金法则

在实际调试中，可以记住下面这棵简易的决策树，遇到问题对号入座即可：

┌──────────────────────────────────────────────────┐│ 调参决策树│├──────────────────────────────────────────────────┤│││输出太无聊/太重复？││├── 是 → 提高 temperature (0.7 → 1.0) │││提高 top_p (0.9 → 0.95)│││││输出太随机/胡说八道？││├── 是 → 降低 temperature (1.0 → 0.5) │││降低 top_p (0.95 → 0.85) │││││输出一直复读？ ││├── 是 → 提高 repetition_penalty (1.1 → 1.2) │││降低 temperature │││││输出太短就停了？││├── 是 → 检查 max_tokens 是否太小│││检查 stop_sequences 设置│││││想要每次回答一致？││└── 是 → temperature = 0（贪心解码）│││└──────────────────────────────────────────────────┘

5.3 Temperature 和 Top P 能同时用吗？

当然可以，而且在实际应用中，非常推荐两者搭配使用。它们的作用方式是正交的，各管各的，互不冲突：

• Temperature：管理整体概率分布的“松紧”或“锐利度”，是宏观层面的调整。
• Top P：管理在调整后的分布里，到底允许哪些词参与最后的抽签，是微观层面的划定范围。

两者可以独立调节。一个完整的采样流程在代码里大致如下：

# 完整的采样流程def sample_with_params(logits, temperature=0.7, top_p=0.9, top_k=50):"""完整采样流程：Temperature → Top K → Top P → 采样"""# Step 1: 应用 Temperaturelogits = logits / temperature# Step 2: 应用 Top K 过滤if top_k > 0:top_k_values, top_k_indices = torch.topk(logits, min(top_k, logits.size(-1)))filtered_logits = torch.full_like(logits, float('-inf'))filtered_logits.scatter_(-1, top_k_indices, top_k_values)logits = filtered_logits# Step 3: 应用 Top P（核采样）if top_p < 1.0:sorted_logits, sorted_indices = torch.sort(logits, descending=True)cumulative_probs = torch.cumsum(F.softmax(sorted_logits, dim=-1), dim=-1)sorted_indices_to_remove = cumulative_probs - F.softmax(sorted_logits, dim=-1) > top_psorted_logits[sorted_indices_to_remove] = float('-inf')logits = torch.scatter(logits, -1, sorted_indices, sorted_logits)# Step 4: 采样probs = F.softmax(logits, dim=-1)next_token = torch.multinomial(probs, num_samples=1)return next_token

六、采样策略全景图

除了上述重点提到的几个策略，行业内还有一些进阶策略，这里快速列个清单作为知识储备：

写在最后

Temperature和Top P虽然只是两三个看似不起眼的数字，但它们实实在在地塑造着模型输出的“性格”：

• Temperature很低 + Top P保守 → 像一位严谨得有些刻板的工程师，严谨有余，灵性不足。
• Temperature中等 + Top P适中 → 像一个正常的对话伙伴，能好好聊天，不出幺蛾子。
• Temperature很高 + Top P开放 → 像一个天马行空的艺术家，时不时给你意想不到的惊喜。

搞懂了这些参数背后的逻辑，你就能在不同的使用场景下，像调音师一样精准地操控输出，让模型说出你最想听的话。

调参这件事，本质不在于“试数字”，而在于真正理解“每个参数到底在控制什么”。希望这篇文章能帮你建立起这种直觉。