2023EMNLP最佳长论文如何探索ICL原理？

word

论文基于信息流视角对ICL的工作原理予以探讨。为验证标签词在ICL过程中充当锚点的作用，作者开展了如下几方面实验：

于是作者指出标签词在ICL进程里有着锚点般的作用。具体而言，标签词在如下两方面起到关键作用：该方法的核心在于重新调整示范实例里标签词（锚点）的权重，从而更高效地运用示范信息。确切地讲，Anchor Re - weighting借助可学习的参数向量β来调整标签词的注意力权重，而这个β是利用辅助训练集学习的，目的是使分类损失最小化。Anchor Re - weighting主要有以下步骤：具体可查看代码：https://github.com/lancopku/label - words - are - anchors。作者们根据这些实验结果提出了以下三方面的应用。论文深入剖析ICL过程的信息流后，提出以标签词为锚点的新观点。该观点利于深入理解ICL工作原理，也为提升其性能、效率与可解释性开辟新思路。基于此观点，作者提出锚点重新加权法、示范压缩技术和错误分析框架等应用，为ICL研究的未来发展指明新方向。