通用ai agent里程碑，谷歌打制逛戏“神队友”，操作像人，会600项手艺

李承樨 2024-03-15 22:34 308

"通用ai agent里程碑，谷歌打制逛戏“神队友”，操作像人，会600项手艺,这篇新闻报道详尽，内容丰富，非常值得一读。这篇报道的内容很有深度，让人看了之后有很多的感悟。作者对于这个话题做了深入的调查和研究，呈现了很多有价值的信息。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作通用AI Agent里程碑，谷歌打造游戏(Game)“神队友”，操作像人，会600项技能智东西·2024-03-15 08:13关注谷歌发布首款通用游戏(Game)AI Agent！

近日，谷歌DeepMind宣布推出一个可扩展指令多世界智能体（Scalable Instructable Multiworld Agent，SIMA）。

这是谷歌在AI游戏(Game)领域的一个新里程碑。SIMA是一个适用于各种3D虚拟环境的通用AI Agent，可根据自然(Nature)语言指令在各种视频游戏(Game)环境中执行任务。

SIMA可以在3D游戏(Game)中执行导航、采矿等任务

从早期与游戏(Game)平台Atari合作到开发出以人类特级大师级别玩《星际争霸 II》的AlphaStar系统，SIMA的诞生标志着谷歌的研究重点将从单一游戏(Game)，转向通用、可指导的游戏(Game)AI Agent。

谷歌在最新发布的技术报告中解读了SIMA技术。团队联合游戏(Game)开发商对SIMA进行(Carry Out)了各种视频游戏(Game)的训练。研究首次证明，Agent能够理解多样的游戏(Game)世界，并像人类一样遵循自然(Nature)语言指令执行其中的任务。

但谷歌表示其目标并非追求游戏(Game)高分，而是通过让AI学会在各种游戏(Game)环境中遵循指令，解锁更实用、更适用于各种环境的AI Agent。其研究展示了如何通过语言界面，将高级AI模型的功能转化为现实世界中有用的行动。

论文地址：

https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated%20Worlds.pdf

01.600项全能，从导航到采矿像人一样控制键鼠玩游戏(Game)

SIMA是一个具备感知与理解各种环境能力的AI Agent，它可以根据指示目标采取行动。

它包含专为精准图像语言映射设计的模型和预测屏幕后续变化的视频模型，谷歌DeepMind根据SIMA所适用的3D设置训练数据，对这些模型进行(Carry Out)了优化。

谷歌DeepMind的AI Agent无需访问游戏(Game)源代码，也不需要定制API。它仅需两个输入：屏幕图像和用户提供的简洁自然(Nature)语言指令。

SIMA利用(Use)键盘和鼠标控制游戏(Game)主演执行这些指令。这一界面与人类使用方式相同，意味着SIMA能与任何虚拟环境互动。

目前(Currently)版本的SIMA通过600项基本技能评估，包括导航（如“左转”）、物体交互（“爬梯子”）和菜单使用（“打开地图”）等。谷歌DeepMind已训练SIMA执行大约10秒内可完成的简单任务。

SIMA可以在3D游戏(Game)中执行600多种任务

将来，谷歌DeepMind希望(Hope)SIMA能处理需要高级战略规划和多个子任务的任务，如“寻找资源并建立营地”。

达成这一目标对AI来说意义重大，因为虽然大型语言模型已经能够捕获世界知识并生成计划，但它们(They)目前(Currently)还缺乏代表人类采取行动的能力。

02.跨游戏(Game)泛化能力：理解各种游戏(Game)环境碾压专用游戏(Game)Agent

谷歌DeepMind证明，相比仅学习一种游戏(Game)的Agent，经过多种游戏(Game)训练的Agent表现更佳。

在评估中，SIMA在九款3D游戏(Game)上进行(Carry Out)训练，其表现明显优于那些仅在各自游戏(Game)中单独训练的Agent。

更重要的是，平均而言，在其他八款游戏(Game)中训练的智能体，在未曾接触过的那款游戏(Game)中的表现，几乎与专门针对那款游戏(Game)训练的Agent相当。这种在新环境中运行的能力突显了SIMA超越其训练范围的泛化能力。

虽然这是一个令人鼓舞的初步成果，但SIMA还需要进一步研究，才能在已知和未知的游戏(Game)中达到人类水平。

与人类玩家相比，以《无人深空（No Man’s Sky）》游戏(Game)测试显示，人类的玩家在这些任务中只有60%的成功(Success)率，SIMA代理取得了34%的成功(Success)率，远远超过了无语言基线的11%成功(Success)率。尽管如此，要赶上人类的表现，SIMA仍需努力(Effort)。

谷歌DeepMind的结果(Result)还显示，SIMA的性能依赖于语言。在控制测试中，由于没有接受语言训练可能指令，Agent的行为虽然合适但缺乏目的。比如，它可能会去收集资源，这是一种常见的行为，而不是按照指示行动。

SIMA的性能依赖于语言

谷歌DeepMind评估了SIMA按照指令完成近1500个独特游戏(Game)内任务的能力，其中部分任务使用了人类评委。

作为比较基准，谷歌DeepMind使用环境专用的SIMA代理的性能（在单个环境中训练和评估以遵循指令）。其将这种性能与三种类型的通用SIMA智能体进行(Carry Out)了对比，这些智能体都经过多个环境的训练。

03.从九种视频游戏(Game)中学习让SIMA掌握语言与游戏(Game)行为的联系

为了让SIMA能够适应更多环境，谷歌DeepMind与八家游戏(Game)工作室合作，在九种不同的视频游戏(Game)上对SIMA进行(Carry Out)了训练和测试，比如Hello Games的《无人深空（No Man’s Sky）》和Tuxedo Labs的《拆迁（Teardown）》。

这些游戏(Game)让SIMA学习从简单导航和菜单操作，到采矿、驾驶宇宙飞船，甚至是制作头盔等一系列技能。

此外，DeepMind还使用了四个研究环境，包括利用(Use)Unity引擎创建的“构建实验室（Construction Lab）”新环境。通过学习各种游戏(Game)世界，SIMA逐渐掌握了语言与游戏(Game)行为之间的联系。

团队的第一种方法是通过记录投资组合中的人类玩家在游戏(Game)中的表现，其中一名玩家观看并指导另一名玩家。同时，研究人员也让玩家自由游戏(Game)，然后体坛他们(They)的操作，并记录导致他们(They)进行(Carry Out)游戏(Game)操作的指令。

04.结语：通用AI Agent新开端游戏(Game)成练兵场

SIMA的研究结果(Result)显示，开发新一波通用、语言驱动的AI Agent有着巨大的潜力。目前(Currently)这还处于早期研究阶段，DeepMind期待在更多训练环境中进一步改进SIMA，并引入更强大的模型。

随着谷歌DeepMind将SIMA暴露在更多的训练环境中，团队期望它能变得更为通用和灵活。通过采用更先进的模型，其希望(Hope)提升SIMA对高级语言指令的理解和执行能力，从而完成更复杂的任务。

最终，谷歌DeepMind的研究旨在构建更加通用的人工智能系统和Agent，这些系统和Agent能够理解并安危地执行多种任务，为网站世界和现实世界的人们提供切实帮助。

本文来自微信公众号“智东西”（ID：zhidxcom），作者：李水青，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

+13

好文章，需要你的鼓励

智东西特邀作者0收藏+10评论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章欧盟《人工智能法案》的出台意味着什么？OpenAI机器人活了，说话做事太像人，2分半视频震撼世界AI优先市场AI程序员Devin：通过了面试，但不一定适合职场AI出海顶流Fotor新作，一站式AI长视频平台Clipfly正式上线｜早期项目欧洲通过全球首部人工智能法案，对科技(Technology)公司意味着什么？从“玩具”进化成生产力工具，企业级AI应用让大模型创业进入新阶段Meta公布Llama 3训练集群细节，储备60万块H100迎接AGIOpenAI大模型上身机器人，原速演示炸场最新文章推荐男性叙事下的“野心”，让职场女性深受其害欧盟《人工智能法案》的出台意味着什么？AWE 2024首日体坛：单品已死、场景永生，AI家电起风了闯入TOP3，超越豪腾、直逼三七，又一玩法like崛起，新机会？周受资的危急时刻比尔·盖茨加入投资的公司，让精神病患者一周只吃一次药大数据扫描“3.15”，看看是谁最坑消费者？鸳央、乐乐茶力推，咖啡馆大面积上新，饮品出现新原料？困在一纸协议里的互联网人成立机器人事业部，「本末科技(Technology)」获亿元级Pre-B轮融资

智东西特邀作者

作者有点忙，还没写简介

发表文章1461篇最近内容OpenAI机器人活了，说话做事太像人，2分半视频震撼世界1小时前通用AI Agent里程碑，谷歌打造游戏(Game)“神队友”，操作像人，会600项技能1小时前蔚来终于放大招了，买车送电话，低价品牌新车撕去伪装，接棒小米霸屏17小时前阅读更多内容，狠戳这里下一篇马斯克的大火箭第三次挑战太空，做了哪些升级改造？

登月进度推推推，登月测试做做做

1小时前

热门标签鲷鱼天山雪量子态潮汕菜美食(Food)旅游(Travel)上海市统计局非上市公司股权激励非上市公司姜华软件授权会议纪要声波支付泡泡浴光伏签约电动扶梯明星(Star)婚礼脑瘫三公子6·21爆吧事件百度贴吧吧主制度阿尔卡特朗讯乳头猪脖子脓毒症爽子attention汪军无锡尚德大闲人皮下脂肪关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴