ACL 2023审稿体验，大模型和参数高效微调方向的论文评审标准是什么？

专家

审阅了5篇长文和2篇行业赛道文章，每篇从阅读到完成评审约耗时1.5至3小时。最终发现，自己的评分与其他评审者的意见一致性较高。

主要研究大模型、参数高效微调及混合专家系统相关方向。其中3篇可在arxiv上找到，如今这期刊的文章都是先挂网再投稿的。其中一篇来自北美某互联网巨头，介绍了大模型预训练的技巧，效果显著。故事切入角度巧妙，评分4，4。有一篇关于大模型在情境中学习的论文，动机吸引人，方法简明高效，效果显著。评分给了5分和4分，并且推荐为最佳论文。还有一篇关于PEFT和一篇关于MoE的，与我投稿EMNLP的内容较为相关。PEFT实验存在明显漏洞，打了2分和3分。MoE那篇一半是理论推导，虽没完全看懂，但整体不错，给了4分和3分。还有一篇关于NLP子任务的论文，动机平平，方法缺乏新意，性能也未达最优，只能评2分了。industry track的两篇论文几乎没有创新点。但审稿指南指出不能过于苛刻，不能仅因缺乏创新就否决。因此，只能依据方法描述和实验的严谨性进行评分。通过这次审稿体会到，研究选题至关重要。如果研究动机不够吸引人，一开始就很难获得高分；一旦实验存在瑕疵，基本就无望通过。相反，若研究问题重要、结果有效、实验扎实且富有洞见，通常就能拿到高分。选题吸引人是成功的关键起点。