温度系数与 top-p 采样策略详解 - Zhang

[giscus[bot]]

温度系数与 top-p 采样策略详解 - Zhang

从事 LLM 推理部署、视觉算法开发、模型压缩部署以及算法SDK开发工作,终身学习践行者。Transformer本文先详细介绍了 LLM 采样时 Temperature 温度系数的作用，然后简单介绍了常见采样策略的基本原理，最后详细描述了 top-p 采样算法的原理和实现步骤，并给出代码实现，以及针对每行代码做出了极为详细的解释。

https://www.armcvai.cn/2024-11-24/top-p-sampling.html