AAAI的定位与录取率相关问题探讨

清华

高赞的一个观点我很认同，那就是录取率并不能必然地反映好坏，特别是在统计群体差异较大的情况下。就好比一所三本（现在可能叫二本B）院校，它的录取率不一定会比清华北大高。因为对很多人来说，能考上这所大学就意味着是本科而非专科，这些起着本科守门员作用的院校，录取率并不高，竞争也相当激烈。如今在一些领域，AAAI/IJCAI就处于类似这种尴尬的顶会守门员的地位，所以仅仅降低录取率并不能提升它们的地位。还有一个问题值得思考，录取率能够体现录用的难易程度吗？实际上也很难说。有些会议的录取率虽然低，但可能是因为投稿者不管自身水平如何先投了再说，这样分母增大，导致录取率较低。而那些录取率高的专家会议也不在少数，这是因为不懂行的人可能都不会去尝试投稿，而且采用公开评审（open review）的ICLR一旦投稿失败，很可能会丢人或者影响再次投稿，所以即便表面上录取率高，也不能反映出难易程度。今年AAAI的审稿情况给人的感觉很不错。很多文章研究的都是一些有趣的小问题，而且研究得深入又全面，完全不像向其他三大会议投稿失败的那些文章那样盲目追逐热点，我觉得这是很好的现象。AAAI这样的会议是时候明确自身的定位了。AAAI不应该沦为科研金字塔中其他顶级会议的垫脚石或者守门员，而应该成为特定领域和特定文章类型的专属会议，要具备区别于其他顶会的特色。例如，AAAI目前版面较短，结构审核较为严格，并且由于引入了快速通道机制（也就是接受NeurIPS拒绝的高分文章），所以成了那些被其他会议看低的文章（像分析类文章、理论性文章、小数据集文章等）的合理接收之处。从长远来看，我对AAAI的态度依旧是乐观的，觉得它会稳步发展。一大清早看到别人的评审意见，我感觉自己还是太温和了。我评审的几乎每个论文都是一半接受一半拒绝，看来讨论阶段又有得讨论了。我看了别人针对同一工作给出的评审意见，诸如为什么只比较机器学习方法？为什么有些超参数没有通过实验证明效果？为什么不比较另一个框架差异很大的方法？为什么只比较了两个数据集？基准（baseline）的有些参数没有给出。这些问题乍一看好像很有价值，实则很无趣，要是发生在自己的论文上，也会让人感到很绝望。