Europe Dataset

. 实际运行时间 层在方面已经非常高效研究人员则更进一步地提出了两项创新使其在实际运行时间内也能保持高效。 首先与在常规训练中对-序列采取梯度步进以实现更好的并行性类似他们也在中使用了-的k。 其次研究人员为每个 -内的操作开发了一种对偶形式以更好地利用现代和。这种对偶形式的输出与原始实现相当但训练速度却快了倍以上。 正如图所示-在k上下文中比更快并且与相当。 杀手—— 如图所示所有的序列建模层都可以从将历史上下文存储到隐藏状态的角度来看待。 比如层——如、K和层——将上下文压缩成一个固定大小的状态这个状态随时间变化。



这种压缩带来了两种结果：优势是处理 台湾电话号码清单 效率高因为每个k的处理时间是恒定的。劣势是在处理长上下文时性能受限于隐藏状态的「表达能力」。 自注意力机制（-）也可以从如上角度来理解。 不同之处在于它的隐藏状态通常称为键值（K）缓存是一个随增长的线性。 它可以存储所有的上下文并且不会进行压缩具有很好的表达能力不过其处理时间随上下文长度线性增长。 因此为了在长上下文中既保持效率又具有表达能力需要一个更好的“压缩启发式”（ ）方法。 具体来说就需要将数百万个k压缩成一个能有效捕捉其底层结构和关系的隐藏状态。 . 隐藏状态 研究人员的关键思想是使用自监督学习来将历史上下文,…,压缩成一个隐藏状态。



方法是将上下文视为一个无标签数据集而将状态视为一个模型。 具体来说隐藏状态现在等同于一个模型的权重这个模型可以是线性模型、小型神经网络或其他任何形式。输出规则简单地表示为： 直观来讲输出k就是由更新后权重的模型对所做的预测。更新规则是在某个自监督损失ℓ上进行的一步梯度下降： 其中学习率为η。从压缩的角度来看每种启发式方法都需要决定记住忘记哪些输入。会记住那些产生大梯度的输入——直观地说就是那些使学习很多的输入。 ℓ的一种选择是重构本身。为了使学习问题变得非平凡作者首先将处理成一个被破坏的输入然后优化： 类似于去噪自编码器需要发现各维度之间的相关性以便从部分信息中重构出。