世界模型版《模拟人生》：AI虚拟小人街头拉票，GPT-4o选举获胜

本周五，来自马萨诸塞大学阿默斯特分校（UMass Amherst）、约翰霍普金斯大学、卡耐基梅隆大学的研究者们提出了一个神奇的研究：虚拟社区（Virtual Community）。 虚拟社区将真实世界的地理空间数据与生成模型相结合，为多种不同类型的智能体创建了一个具有社会根基的交互式、可扩展开放世界场景。 虚拟社区提供了一个统一的框架，用于模拟社区中人类和机器人丰富的社交和物理互动。它建立在通用物理引擎之上，并以现实世界的 3D 场景作为基础。作者为人类智能体实现了一个虚拟角色模拟框架，而其中的机器人模拟则主要继承自 Genesis。 虚拟社区通过在环境中填充配置机器人、人类角色配置文件和社会关系网络的智能体（由 LLM 提供支持）来支持基于 3D 场景的智能体社区生成。 这一个个人物，都是有详细背景资料和活动时间表的，他们也会按照这些设定行事。他们的社会关系以群组的形式构建，每个群组包含一组智能体、文本描述和指定的群组活动场所，所以这些人物会被连接成一个有凝聚力的社群。 虚拟社区会基于真实世界地理空间数据生成场景及相应的智能体。如下图所示：场景生成组件（A）使用生成模型来增强纹理，并精炼粗糙的 3D 数据，同时精炼地理空间数据以简化几何结构。它还利用生成方法创建交互式对象和精细的室内场景。智能体生成组件（B）利用 LLM 基于场景描述生成智能体角色和社交关系网络。（C）再基于 Genesis 引擎模拟开放世界场景中的虚拟角色社区和机器人。 令人感兴趣的是，它可以模拟世界任何地方的 3D 场景，为智能体构建出一个大规模社区 —— 从纽约到伦敦、阿姆斯特丹、丹佛等等。 现有的 3D 地理空间数据 API 在数量和多样性方面提供了丰富的数据，但它们通常包含大量噪声，并缺乏纹理和几何形状细节。为了弥补这一差距，作者提出了一种在线流程，对几何和纹理进行全面的清理和增强。该流程包含四个步骤：网格简化、纹理细化、对象放置和自动注释。 虚拟社区其中还具有正常运行的交通系统，包括行人移动、车辆流动和公共交通运营。作者开发了基于 OSM 数据的自动化动态交通生成机制，能够快速重建城市道路网络并在全球范围内实现自主交通模拟。 作为一个帮助未来人与机器协作进行训练的平台，机器人将成为虚拟社区不可或缺的一部分，它们无处不在并会其中的「人类」进行无缝互动。目前看到已经导入的机器人就有宇树的人形机器人、波士顿动力的机器狗，还有四轴无人机、谷歌机器人等。 利用虚拟社区所释放的新功能，作者引入了两项新的具身化多智能体任务：一项涉及多名人类智能体的竞选任务，以及一项同时涉及机器人和人类智能体的社区助理任务。为了成功完成这些任务，智能体需要具备在社区环境中进行规划的能力，以及与其他智能体互动的社交智能。 作为这两项任务的基础，如果没有分配到特定任务，社区中的智能体会遵循默认的日常计划和惯例。在每轮游戏中，都会选择多个智能体并为其分配一项任务。当智能体被赋予任务时，它会暂停日常计划，专注于完成社区中分配的社交任务。 在「竞选」任务中，候选人智能体必须高效地规划与社区内的选民智能体建立联系并进行说服。由于选民的性格和社会关系各不相同，一些选民最初可能倾向于某些候选人，这就要求每位候选人制定适应性策略，以在整个选举过程中影响和改变选民的意见。 结果如下图所示，采用 GPT-4o 主干的候选人比采用 GPT-3.5-turbo 主干的候选人拥有更高的平均得票率和转化率，这意味着它更有能力在大多数场景下改变选民的观点。 社区助手任务的场景则是两个异构机器人在开放世界环境中合作协助人类。这些任务要求智能体进行合作规划，以协助人类化身进行日常活动 —— 搬运，即智能体陪同人们外出并帮助搬运物品；以及递送，即智能体将物品从源位置（室内或室外）运送到目的地。 实验结果显示，两种基线方法在交付方面的表现均优于携带，这反映了在动态开放世界中同时操控物体和跟随人类的极高难度。 作者希望虚拟社区工作能够帮助人们大规模进行未来的社会智能研究，包括：1）机器人如何智能地合作或竞争；2）人类如何发展社会关系和建立社区；3）智能机器人和人类如何在开放世界中共存。