机器人行业出了个RoboGPT 一个模型处理不同感官输入
发布时间：2022-12-21 10:30:30 所属栏目：动态 来源：转载
导读：
懒得打扫房间，那就直接交给机器人来做吧。
而且，这个机器人只需要 一个单一的预训练模型，就能从 不同的感官输入（如视觉、文本等）中生成命令，来 执行多种任务。
懒得打扫房间，那就直接交给机器人来做吧。
而且，这个机器人只需要 一个单一的预训练模型，就能从 不同的感官输入（如视觉、文本等）中生成命令，来 执行多种任务。
 懒得打扫房间，那就直接交给机器人来做吧。 而且，这个机器人只需要 一个单一的预训练模型，就能从 不同的感官输入（如视觉、文本等）中生成命令，来 执行多种任务。 要知道，在以往机器人执行命令时，处理这些不同的任务时， IO 规范、神经网络体系结构和目标等都是不一样的。 然后这些视觉特征会被Token Learner模块计算成一组 紧凑的token传递给Transformer，这使得机器人的推理速度能够 提高2.4倍以上。 接下来 Transformer会来处理这些token并产生离散化的操作token，而操作token便是一开始说的那个7+3+1了。 通过控制手臂，基础运动以及模式便能够执行任务了。 在执行任务的整个过程中，RT-1还会以 3Hz的频率执行闭环控制和命令操作，直到产生终止操作或用完预先设置的时间步骤数。 不过话说回来，既然这个机器人能够执行多任务，那它执行通用任务时的能力到底如何呢？ 研究人员分别测试了RT-1对干扰物数量 （第一行）、不同背景和环境 （第二行）以及真实场景 （第三行）的鲁棒性。 （编辑：成都站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐