随机初始化query难学,如何改进?

1个回答

写回答

jerryyu

2025-12-05 21:30

+ 关注

完全随机初始化的可学习查询(learnable query)太难学习了,这需要更多的数据量以及更长的训练时间。就像在2D检测中的DETR查询、自动驾驶中的DETR3D或BEV构建以及轨迹预测中的查询一样。在这之后,许多针对它们进行改进的工作,都是给这些随机初始化的查询增加具有启发性的先验知识,从而加速收敛。例如,Anchor DETR把锚点(anchor)的先验知识引入查询;MV2D将2D目标(2D obj)引入查询;BEVFormer把历史的BEV引入查询;MTR把意图点(intention points)引入查询。另外,最近的Cambrian - 1,它所采用的连接符(Connector)——空间视觉聚合器(Spatial Vision Aggregator,SVA),也是通过明确地定义每个查询标记(query token)对应的视觉特征图子区域,来引入空间归纳偏置(spatial inductive bias)的。

举报有用(0分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号