AAAI投稿被拒，疑似遇偏见审稿人？

AI

我整个人都懵了。后面会议的内容一点都没心思去听了。纠结了好久，还是觉得可以把这件事写出来，这样心里会舒服些，总比一直憋在心里强。审稿人的评分有接受（Accept）、弱接受（Weak Accept）、拒绝（Reject，且非常确信）这几种，而最终的结果是被拒（Reject）。怎么讲，我对这篇论文可是寄予了很大的期望啊。论文刚投到AAAI就挂到arxiv上去了，不过当时没有做任何宣传（现在想想，当时没宣传可真是亏大了）。但是从外界反馈来看，这篇论文还是很不错的。它是关于大型语言模型（LLM）指令调整（Instruction Tuning）下的一个小方面，到目前为止，在代码仓库（repo）里已经有将近一百个星标了，也有了一些引用，其中还有两篇是影响力比较高（highly influencial）的引用。原本我觉得这篇论文肯定能通过的，结果却惨遭拒绝。那个非常确信地给出拒绝（Very Confident Reject）的审稿人，对LLM领域有着特别大的偏见。审我们的论文时，连一个优点（Strength）都不愿意写。我觉得这真的有点太过分了。不喜欢这个领域可以，提出批评也没问题，但直接像鸵鸟一样把头埋起来，一个优点都不写，这实在是有些说不过去了吧？他给我们提出的问题全是在抨击LLM这个领域，我觉得他可能是那种守旧的人（遗老），既不愿意去了解这个领域，也不愿意接受这个领域。最典型的是，他觉得现在LLM的评估方式不行，还让我们用困惑度（perplexity）来评估。我当时就惊呆了，我们做的又不是预训练（pretrAIning），而是调整（tuning）啊，指令遵循（instruction - followed）的LLM的评估到现在都还是个开放性问题，很多研究都在试图找到一个合适的评估方式，他直接让我们用困惑度，我真的很震惊。说用困惑度（ppl）这种话，实在是太自负了，就好像指着做LLM评估的研究人员的鼻子骂他们都是笨蛋，连困惑度都不知道用。我真的是很无语。而且，为了拒绝我们的论文，他还在疯狂地歪曲我们的论文内容。我真的不知道这是有什么仇什么怨。然后我们好好地写了反驳（rebuttal），还写信给领域主席（AC），说希望能够重新评估一下这个非常确信的审稿人（Very Confident reviewer）的意见，如果可以的话，我们也恳请能够再增加一个审稿人，对这篇论文再做一个更公正的评价。