第六章 执行模型与采样#

这一章会继续下钻 ForwardBatchModelRunner、sampling params 和输出收口逻辑,解释 token 为什么会这样被选出来,以及执行壳和模型壳怎样真正衔接。

这一章内部也有一条很明确的顺序:

  • 6.1 先把调度对象怎样变成执行对象讲清楚
  • 6.2 再讲执行层怎样根据参数和约束选 token
  • 6.3 最后讲结果怎样被折叠回可回传对象

这三节合在一起,才构成“执行层真正跑完一轮”。

这一章当前的目录是: