Google的Genie 2如何改进通用智能体训练？

Google

迅速浏览完博客后，我深受Google对通用智能体执着追求的触动。从动机、与前代方法的区别以及关键问题等几个方面，谈谈我的体会。Google在这方面的努力和创新令人印象深刻，展示了其在人工智能领域的深厚积累和远见卓识。从动机说起，游戏场景是构建和测试AI智能体的理想选择。Genie 2旨在为通用智能体训练提供无限多样的环境，以便更好地提升其性能和适应性。

这篇博客中仅有一段提及技术细节，从内容推测，Genie 2相比第一代最明显的改进是放弃了含义模糊的潜在动作，转而定义了几个明确的动作，如前进、后退和攻击等。在所有演示中，均设有一个主体，最终由agent控制其行动。这一变化使操作更加直观和易于理解。

总体控制效果显著，初步思考了几种方法和模型的局限与问题。在神经网络生成的世界中，如何确保其一致性是个问题。例如，同一个房间，离开后再返回，看到的景象是否依旧相同？这种连贯性需要得到保证。关于Genie 2中action标注的来源与精度问题：相较于Genie 1，若Genie 2在训练时需依赖标注的action数据，则这些数据如何获取？其精度和一致性怎样确保？是否能够生成足够量的数据以满足需求？这些问题亟待解决。长序列环境建模和泛化性是World Model的核心问题。近期，师弟主导的一项世界模型研究针对这一难题取得了显著进展，展示了出色的效果，值得推荐。