Entropix：最大化推理性能的采样技术

百变鹏仔 4天前 #Python

文章标签性能

entropix：最大化推理性能的采样技术

根据 entropix readme，entropix 使用基于熵的采样方法。本文讲解了基于熵和变熵的具体采样技术。

熵和变熵

让我们首先解释一下熵和变熵，因为它们是决定采样策略的关键因素。

熵

在信息论中，熵是随机变量不确定性的度量。随机变量 x 的熵由以下等式定义：

当概率分布均匀时，熵最大化。相反，当特定状态比其他状态更有可能出现时，熵就会减少。

变熵

变熵与熵密切相关，代表信息内容的可变性。考虑到随机变量 x 的信息内容 i(x)、熵 h(x) 和方差，变熵 v e(x) 定义如下：

当概率 p(x_i) 变化很大时，变熵变大。当概率均匀时（无论是当分布具有最大熵时，还是当一个值的概率为 1 而所有其他值的概率为 0 时），它会变小。

抽样方法

接下来，让我们探讨一下采样策略如何根据熵和变熵值而变化。

1. 低熵、低变熵 → argmax

在这种情况下，特定令牌的预测概率比其他令牌高得多。由于下一个标记几乎确定，因此使用 argmax。

if ent < 0.1 and vent < 0.1:    return torch.argmax(logits[:, -1], dim=-1, keepdim=true).to(torch.int32)

代码链接

2. 低熵、高变熵 → 分支

当有一定的信心，但存在多种可行的选择时，就会发生这种情况。在这种情况下，分支策略用于从多个选择中进行采样并选择最佳结果。

elif ent < 5.0 and vent > 5.0:    temp_adj = 1.2 + 0.3 * interaction_strength    top_k_adj = max(5, int(top_k * (1 + 0.5 * (1 - agreement))))    return _sample(logits, temperature=min(1.5, temperature * temp_adj), top_p=top_p, top_k=top_k_adj, min_p=min_p, generator=generator)

代码链接

虽然这个策略被称为“分支”，但当前的代码似乎是调整采样范围并选择单个路径。（如果有人有更多见解，我们将不胜感激。）

3. 高熵、低变熵 → cot 或插入暂停令牌

当下一个标记的预测概率相当均匀时，表明下一个上下文不确定，则插入一个澄清标记来解决歧义。

elif ent > 3.0 and vent < 0.1:    if not torch.isin(gen_tokens[:,-1], torch.tensor([2564], device=device)).any():        return torch.tensor([[2564]], dtype=torch.int32, device=device)    else:        temp_adj = 1.3 + 0.2 * attn_ent        return _sample(logits, temperature=min(1.5, temperature * temp_adj), top_p=top_p, top_k=top_k, min_p=min_p, generator=generator)

代码链接

4. 高熵、高变熵 → 重采样

在这种情况下，存在多个上下文，并且下一个标记的预测概率较低。 重采样策略使用更高的温度设置和更低的top-p。

elif ent > 5.0 and vent > 5.0:    temp_adj = 2.0 + 0.5 * attn_vent    top_p_adj = max(0.5, top_p - 0.2 * attn_ent)    return _sample(logits, temperature=max(2.0, temperature * temp_adj), top_p=top_p_adj, top_k=top_k, min_p=min_p, generator=generator)

代码链接

中级案例

如果以上条件均不满足，则执行自适应采样。采取多个样本，根据熵、变熵和注意力信息计算最佳采样分数。

else:    return adaptive_sample(        logits,        metrics,        gen_tokens,        n_samples=5,        base_temp=temperature,        base_top_p=top_p,        base_top_k=top_k,        generator=generator    )

代码链接

参考

文章推荐

Entropix：最大化推理性能的采样技术

entropix：最大化推理性能的采样技术

熵和变熵

熵

变熵

抽样方法

1. 低熵、低变熵 → argmax

2. 低熵、高变熵 → 分支

3. 高熵、低变熵 → cot 或插入暂停令牌

4. 高熵、高变熵 → 重采样

中级案例

参考

如何在Python中计算学生化残差？

我的Python类定义了__del__方法，但是当我删除对象时它并没有被调用

如何利用Celery Redis Django开发高性能异步任务处理器

如何利用Django Prophet进行网站流量预测和优化？

Django Prophet与机器学习的集成：如何利用时间序列算法提升预测准确性？

我的Python类定义了del方法，但是当我删除对象时它并没有被调用