比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

作者:小菜 更新时间:2024-08-04 点击数:
简介:腾讯机器狗,登1316世界之最上了Nature子刊封面! 在它的控制下,机器狗的动作和真实世界 1316世界之最 中的狗越来越像了。

注意看,这里的两只机器狗玩起了“定向越野”,还是带追逐的那种。

游戏当中,两只机器狗分别要扮演追逐者和逃脱者,逃脱者需要在不被抓到的情况下到达指定位置。

一旦它到达了指定位置,两只机器狗就会交换身份,如此来回进行,直到有一只被

【菜科解读】

腾讯机器狗,登1316世界之最上了Nature子刊封面!

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

在它的控制下,机器狗的动作和真实世界1316世界之最中的狗越来越像了。

注意看,这里的两只机器狗玩起了“定向越野”,还是带追逐的那种。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

游戏当中,两只机器狗分别要扮演追逐者和逃脱者,逃脱者需要在不被抓到的情况下到达指定位置。

一旦它到达了指定位置,两只机器狗就会交换身份,如此来回进行,直到有一只被抓住。

这个游戏的一个难点在于有最大速度限制,两只机器狗都不能单独依靠速度取胜,必须规划出一定策略。

甚至,还有更加困难的障碍赛,战斗更加激烈、场面更加精彩。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

这场机器人越野大赛的背后,应用的正是这套全新的控制框架。

该框架采取了分层式策略,并运用生成式模型学习了动物的运动方式,训练数据来自一只拉布拉多犬。

这套方法让机器狗不再依赖物理模型或手工设计的奖励函数,并能像动物一样理解和适应更多的环境与任务。

像真的狗一样运动

这只机器狗名叫MAX,重量为14kg,每条腿上有3个行动器,可提供平均22Nm的持续扭矩,最大能达到30Nm。

MAX的一大亮点,就是实现了对真实世界中狗的模仿。

在室内环境中,MAX挣脱了研究者,然后就开始了自由跑动。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

把MAX放到室外,它也能在草地上欢快地奔跑玩耍。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

当遇到有障碍的复杂地形时,这种模仿就更加惟妙惟肖了。

向上,MAX可以敏捷飞快地爬上楼梯。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

向下,它也能钻过障碍物,挡在它前面的横杆没有被碰到一点。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

这一系列的动作背后,都是MAX的控制系统从一只拉布拉多的动作当中学习到的策略。

利用对真狗的模仿,MAX还能规划更高级的策略,完成更为复杂的任务,前面展示的追逐大战就是一个很好的例子。

值得一提的是,除了让两只机器狗相互竞技之外,研究人员也通过手柄控制加入到了这场战斗。

从画面中不难看出,真人控制模式下的机器狗(下图中1号),反而不如纯机器方案(2号)来得灵活。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

最终的结果是,在开了挂(人类控制的机器狗最大限速更高)的情况下,人类仍然以0:2的比分彻底输给了机器。

除了能让机器狗灵活运动,该框架最大的优势就是通用性,可以针对不同的任务场景和机器人形态进行预训练和知识复用。

未来,团队还计划把该系统迁移至人形机器人和多智能体协作的场景。

所以,Robotics X实验室的研究人员是如何打造出这套方案的呢?

加入生成式模型的分层框架

研究人员设计这套控制框架的核心思路,就是模仿真实动物的运动、感知和策略

该框架通过构建可预训练、可重用和可扩展的原始级、环境级和策略级知识,使机器人能够像动物一样从更广泛的视角理解和适应环境与任务。

具体实现上,该框架也采用了分层式的控制方式,之中的三个层级——原始运动控制器(PMC)、环境适应控制器(EPMC)和策略控制器(SEPMC)——分别与原始级、环境级和策略级知识形成了对应。

首先,人类会发出一个高级的指令(比如告诉机器竞速追逐游戏的规则和目标),这也是(运行过程)全程唯一需要人参与的地方。

这个高级指令会被SEPMC接收,并根据当前情况(如机器人角色、对手位置等)制定策略,然后生成包括移动方向、速度等信息的导航命令。

导航命令接下来会传给EPMC,然后结合环境感知信息(如地形高度图、深度信息等),选择适当的运动模式,形成一个类别分布,同时选择合适的离散潜在表示。

最后,PMC又把这种潜在表示与机器人当前的状态(如关节位置、速度等1316世界之最)结合,得到电机控制信号,并最终交付执行。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

训练的顺序则刚好与之相反——从PMC开始,到SEPMC结束。

第一阶段PMC的训练,也就是原始级训练,是为了建立基础的运动能力

该阶段的训练数据来自对一只训练有素的中型拉布拉多犬的运动捕捉。

通过指导狗狗完成各种动作,作者收集了大约半小时的不同步态(如行走、奔跑、跳跃、坐下等)的运动序列,以每秒1201316世界之最1316世界之最的频率采样。

狗狗在捕捉过程中遵循直线、方形、圆形等不同的路径轨迹。

此外,作者还专门收集了约9分钟的上下楼梯的运动数据。

为了弥合动物和机器人的骨骼结构差异,作者使用逆运动学方法将狗狗的关节运动数据重定向到机器人关节。

通过进一步的人工调整,最终得到了与四足机器人兼容的参考运动数据。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野


△资料图,不代表训练数据来源

基于这些数据,作者使用了生成式模型VQ-VAE编码器来压缩和表示动物的运动模式,构建了PMC的离散潜在空间。

通过向量量化技术,这些连续的潜在表示离散化为预定义的离散嵌入向量,解码器则基于选定的离散嵌入和当前机器人状态生成具体的运动控制信号。

在VQ-VAE的基础上,PMC的训练目标,是最小化生成的运动轨迹与参考轨迹之间的偏差。

同时,作者引入了优先级采样机制,根据不同运动模式的难易程度动态调整其在训练中的权重,确保网络对所有参考数据都能很好地拟合。

通过不断迭代和优化,PMC逐步学习到一组能够有效表达复杂动物运动的离散表征,直至收敛。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

PMC阶段的结果,为EPMC生成更高级别的运动控制信息提供了基础。

EPMC在PMC的基础上引入了环境感知模块,接收来自视觉、雷达等传感器的信息,使得策略网络能够根据当前环境状态动态调整运动模式。

EPMC的核心是一个概率生成网络,根据当前的感知信息和指令信号,在PMC提供的离散潜在空间上生成一个概率分布。

这个分布决定了应该激活哪些原始运动模式,以最好地适应当前环境和任务。

EPMC的训练,通过最小化环境适应和任务完成的损失函数来实现,逐步学习优化运动策略,提高机器人的适应能力和鲁棒性。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

最后的SEPMC训练阶段进一步提升了机器人的认知和规划能力,使其能够在多智能体交互环境中制定和执行高层策略。

SEPMC在EPMC的基础上,根据当前的游戏状态(如自身和对手位置等)和历史交互记录,生成高层的策略决策(如追逐、躲避)。

MAX机器人玩的追逐式定向越野游戏,也正是SEPMC的训练方式。

在该阶段,作者采用了先进的多智能体强化学习算法PFSP,通过自我博弈不断提升机器人的策略水平。

训练过程中,当前策略不断与历史上的强对手进行对抗,迫使其学习更加鲁棒和高效的策略。

得益于前两个阶段打下的坚实基础,这种复杂策略的学习是非常高效的,即使在稀疏奖励的情况下也能快速收敛。

值得一提的是,这样的多智能体方案当中,还可以引入一些模拟人类的智能体,从而实现机器间或人机间的协作配合。

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

以上的训练过程都是在仿真环境中完成,然后以零样本迁移到真实环境。

在仿真中,物理参数可以自由控制,作者随机化了大量物理参数(包括负载、地形变化等),通过强化学习得到的策略必须能够应对这些变化,得到稳定和通用的控制能力。

另外,作者在控制框架中的每一层都使用了LSTM,使得各个层级都具备一定的时序记忆和规划能力。

传感器方面,目前作者主要验证了使用Motion Capture系统,或仅基于Depth Camera的视觉感知可以完成一系列复杂的任务。

为了处理更加开放和复杂的环境,作者未来将进一步整合LiDAR、Audio等感知输入,进行多模态理解,更好的应对环境。

论文地址:https://www.nature.com/articles/s42256-024-00861-3

项目主页:https://tencent-roboticsx.github.io/lifelike-agility-and-play/

秦国短命因只建有效战争机器:非良好管理体系

自从一统中国,中国就进入了帝国阶段。

所谓帝国有两层含义:第一,一个国内只有一个,国家是统一的;第二,对于四邻而言,中国这个庞大的国家绝对是主控力量。

这两个条件合在一起的时候,中国的帝国就是天下帝国。

理论上天下帝国没有边界,边缘和核心的关系只有远近,没有敌我。

但实际上,当时的中国还是有不属于它管辖的邻居,尤其是北边草原上的游牧民族,很少被纳入中原的管辖体系,更常见他们向中原挑战,侵入、征服甚至统治了中原。

著名的①和金、元王朝,就是较为显著的例证。

秦和两汉是一个连续体 直到秦帝国的出现,才真正为中华大帝国的核心划下基本的疆域。

我们有时候称之为中原,可是中原的范围常常会改变,实际上中原的核心又时时转移。

不过,以中国和欧洲的大帝国来对比,最显著的特征就是,中国有一个相当固定而且坚实的核心。

因此,中国对外是一个相当庞大的地理单位,往往这核心本身比任何一边的边陲之地都要广袤富足很多倍。

这么庞大的核心,自然有它自己的引力,核心可以抓住边缘,边缘则很难挑战核心的地位。

秦和两汉应该是一个连续体,不必当做三个朝代来看待。

正所谓“汉承秦制”,秦帝国建立了庞大帝国的内建系统,包括道路系统和官僚体系,两者都被汉帝国继承。

秦帝国的内建系统是从上而下、从核心向外缘扩散的。

就的郡县制度来说,从发掘统计出来的数据可以发现,甚至最小的县城的县长或县令,往往是由秦帝国军队的中下级军官转任,中央的命令可以从上到下传达到地方,效率相当不错。

秦帝国的道路系统,在中原地区是两横两直四条主干道,然后以此为基础对外展开若干条辐射线。

这样的内建系统,传达命令效率很高,得到神经末梢回馈讯息的效率却有所不足。

整体而言,秦帝国在秦始皇时代,运转并没有太大困难。

秦王朝筑长城、开直道、建宫殿和陵墓,再加上戍守边疆的兵役,用尽了以农业生产为主的国家力量。

秦始皇在世时,由于他常常巡视各处,可能还可以得到地方的讯息。

秦始皇一死,包括六国之后裔和、、这一类农民在内的起义风起云涌,中央根本无法得到预警,也无法采取适当的应对措施。

所以这一短命的王朝,它的兴盛是由于三代经营,建立了一个非常有效的战争机器。

但这并不是一套很好的管理体系,在资源力量用尽之时,中央完全无法应付,庞大的帝国就垮下来了。

秦代的兴和衰,其实就是这么简单的一件事。

的管理制度基本上是秦朝的延续,《》和《汉书》都很坦白地承认这一点。

但是,在实际的运用上,汉代的制度是由董仲舒设计了一套相当清楚的察举制,将过去不是很制度化的人才选拔方式,落实为定期由地方官员选择当地优秀的人才送到中央,在中央实习种种政务,然后再派到各处去工作。

这样一个察举制度,使得中央和地方一直不断地有人力资源的流转,把地方的讯息无时不经过这些实习人员带到中央。

这套讯息传递系统至少在西汉大半的时间里面,能为中央的种种决策提供有效的息,使这么庞大的帝国基本上能够稳定地运作。

随机文章隋朝是怎么灭亡的?神是否存在高维度空间,人的行为由神设定的参数支配(真伪难辨)神奇的多米诺骨牌效应,施加一个小小的力量就可以毁灭世界龙卷风风眼有人进去吗,龙卷风中心有没有风/没有风但是气压非常大为什么挖到太岁会死人,太岁值钱勾起心中邪恶的欲望/造成1人死亡迷案在线 mazx.cn本站内容大多收集于互联网,内容仅供娱乐,并不代表本站观点,如果本站内容侵犯了您的权益,敬请联系网站管理员,我们将尽快回复您,谢谢合作!

贵州工业机器人技术应用技术学校

选择学校时的明智选择——贵州工业机器人技术应用技术学校在每年的招生季,许多初中毕业生和家长都会面临一个重要决策——选择什么样的学校才能为未来的发展打下坚实的基础?如果你正在为孩子选择一所技术类学校,那么“贵州工业机器人技术应用技术学校”绝对值得你关注。

这所学校不仅关注技术的前沿发展,更注重学生的实践能力和综合素质培养,为未来的职业生涯做好充分准备。

高薪热门行业的良好起点随着科技的飞速发展,工业机器人已经成为制造业的重要组成部分。

贵州工业机器人技术应用技术学校紧跟时代的步伐,设立了多个与工业机器人、自动化技术相关的专业,培养大量高素质的技术人才。

在如今的职场,机器人技术已逐渐成为热门领域。

选择这样一所学校,不仅意味着能接触到行业最前沿的技术,更意味着你可以抢占未来高薪职位的“制高点”。

从实践中获得技能丰富的就业机会工业机器人技术的广泛应用不仅限于制造业,电子、汽车、物流等行业都在急需这一领域的专业人才。

贵州工业机器人技术应用技术学校的毕业生将拥有丰富的就业机会。

学校与多家企业建立了紧密的合作关系,定期举办招聘会和校企合作项目,帮助学生顺利就业。

此外,学校也与一些知名企业签订了人才培养合作协议,为学生提供了广阔的发展平台。

多样的专业选择,适应不同兴趣不同于其他单一的技术学校,贵州工业机器人技术应用技术学校为学生提供了多种专业方向的选择。

无论你对机器人系统的设计、制造,还是对自动化控制、软件开发感兴趣,都可以在这里找到适合自己的专业方向。

学校的多样化课程设置确保了每位学生都能根据自己的兴趣和特长选择合适的道路,培养具有创新思维和实际操作能力的技术型人才。

培养综合素质,适应职场需求虽然学校注重技术教育,但并没有忽视学生的综合素质培养。

除了专业知识,学校还开设了如团队合作、沟通表达、职业素养等课程,帮助学生提升软实力。

这些素质在现代职场中至关重要,能帮助毕业生在激烈的竞争中脱颖而出,赢得更多机会。

地理位置优越,生活便利位于贵州省的这所学校,周边环境优美,交通便利。

学生在这里不仅能接受到优质的技术教育,还有着便捷的生活条件。

附近的生活设施齐全,能够满足学生在校期间的日常需求,营造了一个轻松愉快的学习氛围。

如何判断是否适合你的孩子?如果你家孩子对机械、电子技术或自动化控制等领域感兴趣,或者想要在毕业后直接进入技术行业就业,那么贵州工业机器人技术应用技术学校将是一个非常好的选择。

学校的课程设计紧跟行业趋势,毕业生的就业前景广阔。

同时,学校的实践教学体系和专业化的课程设置,能够帮助孩子们积累宝贵的实战经验,为未来的职业生涯打下坚实的基础。

每个家庭的教育理念不同,但选择一所能够为孩子未来发展提供机会的学校始终是最重要的。

如果你希望孩子在机器人、自动化等热门领域拥有更多发展机会,贵州工业机器人技术应用技术学校无疑是一个理想的选择。

通过这所学校的培养,孩子不仅能在学术上有所收获,更能在职场中快速立足,拥有更加广阔的未来。

加入收藏
               

比真狗还狗!鹅厂机器狗登Nature子刊封面:可定向越野

点击下载文档

格式为doc格式

  • 账号登录
社交账号登录