"新标准更接近引用图谱：模型从何处获取信息，你的出现频率，以及如何被描述。"Engel说。
这对研究团队所称的“检索头”尤为严重——这类注意力头的功能是从长上下文中检索特定事实token。检索头相关的token可能休眠数千个token后突然成为推理链关键。后RoPE方法在狭窄观察窗口运行时，会在休眠期低估这些token的重要性并永久剔除。当模型后续需要召回这些信息时，数据已丢失，思维链随之断裂。
，这一点在todesk中也有详细论述
Depth-3 + alpha-beta + quiescence + PSTs
图片来源：Kevin Lamarque / Reuters
欧洲承认对乌防空系统供应存在缺口08:52