Speculative Decoding小众路线有哪些工作？

在Speculative Decoding（推测性解码）里，这条路线算是比较小众的，不过在特定场景下，其加速效果也相当不错。这条路线重点适用于模型输出与已有语料重合度较高的情形。在这种情况下，已有语料能够提供质量上乘的草稿标记（draft token）。在这条路线上，有两个比较知名的成果，即REST和PLD。REST采用的是自己构建的语料库，而PLD直接运用prompt（提示词）。PLD没有发表成文章，只有一个github代码库。REST则已经在NAACL 2024上发表了，下面是我写的论文阅读内容，里面也包含文章的链接。如果想要了解更多关于Speculative Decoding的内容，可以考虑看看我的论文阅读合集。