为什么做家用机器人这么难?曾以打造家用机器人为己任的 TRI 机器人部门分享了他们历经的考验和磨难,以及随之而来的目标调整。
撰文 | Sia
「意外」的展示
最近,日本汽车巨头丰田汽车的子公司丰田研究院 ( Toyota Research Institute ,简称 TRI ) 首次向媒体敞开大门,展示其在硅谷总部进行的研究。
二十世纪三十年代,丰田公司实现从制造纺织机到制造汽车的飞跃,获得巨大成功。如今,这家年近九旬的公司每年坐拥近 3000 亿美元营收。
为了利用先进的人工智能等技术开发新产品和服务,发现改变丰田业务的下一个技术飞跃,2015 年,丰田公司在硅谷成立了丰田研究院,并邀请领导 DARPA 机器人挑战、机器人研究等项目的 Gill Pratt 担任 CEO ,这位发明家曾与波士顿动力创始人兼 CEO Marc Raibert 共事过。
目前,丰田研究院长期关注的五大核心领域,包括人工智能、机器人、能源和材料以及机器学习。不难看出,除了探索如何让汽车变得更好,他们也探索汽车之外的可能性,包括家用机器人。
事实上,机器人团队成立初衷正是将家庭作为主要关注点,应对日本人口老龄化的挑战。早期专业制作的视频也展示了机器人完成烹饪、清洁等复杂任务。
然而,有意思的是本次媒体开放日中,高级副总裁 Max Bajracharya 展示的两个项目却有些跑题。
Max Bajracharya 展示了一个工业手臂,它装有改进后的夹具,可以将箱子从卡车里搬到传送带上。很明显,这是为大多数工厂实现仓储物流自动化所做的努力。Max Bajracharya 展示的可用于仓储物流场景的工业手臂。
另一个是会购物的轮式机器人 —— 它会根据条形码和大致位置检索货架上的不同商品,还能够到货架最上层寻找商品,确定最佳抓取方法后将它们放入购物篮。Max Bajracharya 展示的会购物的轮式机器人。
想象一下,一位老人带着机器人助手去超市购物 —— 从自主行动找到购物清单上的商品,到想办法科学取货,放到购物篮里,对机器人助手来说,都是不小的挑战。2022年10月,该部门曾在 TRI 科技博客上分享了相关技术成果。
首先,在关节硬件方面,机器人团队定制了不同尺寸的关节执行器以及支持它们的软件系统。执行器具有高扭矩密度,可以造出非常纤细的手臂,足以应对很重的日常物品——比如,家庭装洗衣液和食用油。在能量续航方面,独立的高性能计算和快充等技术省去了电源线的羁绊。
购物机器人抓取大瓶洗衣液并放入购物篮。
扫地机器人扫地之前需要建立房间地图,同样,为了找到要买的东西,机器人需要预先生成超市地图,包括购物通道和大量商品的位置。
为此,研究人员定制了数据采集车,配备立体摄像头捕捉信息,重建地图。他们开发了一种算法模型,融合了深度学习方法鲁棒性和经典几何算法的精度。实验室内搭设的超市货架的详细三维地图。来源 TRI Medium 技术博客。
有了地图,机器人就可以自主购物了。—— 它们会自主导航到所需物品位置,利用摄像头确定有没有货、东西摆放在什么地方。
真实超市的布局是不断变化的,机器人通过立体视觉系统来导航和避障。
团队构建的算法很稳健,即便遇到货品脱销、被其他客人错放位置甚至新旧包装更替,都可以被发现。
遇到商品很难完整出现在摄像头里的情况 —— 被放到顶部或底部的架子上,甚至架子后面——机器人仍然可以找到它们。这里的奥妙在于,对来自两个立体摄像头——一个在头部、一个在机器人移动基座上——的数据运行相同神经网络,视野因此覆盖了整个货架高度。
机器人视角下的某个超市货架,它有两个!来源 TRI Medium 技术博客。
一旦机器人成功定位到物品,它就会计划如何抓住它。
与工业场景面里的标准零部件不同,超市商品形状、颜色各异、包装软硬不同、重量也不同,他们为机器人配备了定制吸力夹具和现成的双指平行夹具。借助立体相机,机器人可以获取物品的丰富 3D 几何图像,并推断物品的尺寸、姿势和表面曲率等属性,决定使用何种工具、抓握类型进行抓取。
例如,他们可能会抓住瓶盖而不是瓶身,或者将吸盘放置在罐子的平坦区域而不是曲线上。
机器人会自动识别物品上的最佳位置,实现成功吸握。来源 TRI Medium 技术博客。
曲线救国
对于这种偏离,该负责人承认,就 TRI 内部机器人团队而言,让机器人「回家」依旧是不可能完成的任务。
家用机器人的问题不在于它太难,而在于对于 TRI 这样的团队,如何去衡量他们正在取得的进展?
机器人团队过去做了很多尝试。他们把面粉和大米放在桌子上,让机器人擦干净;在屋里子乱放东西,让机器人收拾整齐;他们将机器人部署到爱彼迎(Airbnb),看看成果如何。
虽然整理和清洁属于重复性的体力活儿,非常适合家用机器人,但每个家庭都是不同的,每个人都希望自己的家有不同的组织和清洁方式,以致于研究人员很难确切搞清楚是否取得了良好的进展 —— 到底是技术进步了?还是家庭环境更简单了?TRI 探索能够操作水槽和洗碗机中的盘子的机器人。
TRI 探索了机器人完成烹饪复杂任务。
在丰田研究所,为了实现既定目标,通常会定义「挑战任务」,这些任务推动研究向通用机器人能力的方向发展,并允许进行严格的定量测试。但机器人部门逐渐发现,他们不能很好地衡量研究进步。随着大公司开始削减长尾研究项目——一些还没有带来切实可货币化结果的项目,这更是一个大问题。
本以为有了更合适的工具——更好的 GPU、机器学习—— 可能比较容易说服自己这次机会有所不同。但 TRI 机器人专家还是认为,有很多问题有待自动化,但迄今为止,成功的案例有限。除了机器人吸尘器之外,几乎没有什么突破。
或许,这也是当年谷歌机器人部门资深机器人专家跳槽丰田研究所后,又离开的原因之一。例如,曾担任面向家用机器人市场的机器人技术总监 Joseph Bondaryk 后来加入了一家工业机器人初创;Philipp Michel 加入了亚马逊机器人。
后来,TRI 家用机器人离开了爱彼迎的「家」,进入超市和杂货店。
一方面,虽然最终想要在家里帮助人们,但这个地方不一定非得是家。杂货店购物也是生活的重要组成部分。对于很多老年人来说,总是让杂货店送货不一定是正确答案,他们更喜欢走出家门,让身体保持活力。
而超市购物包含了机器人面临的一系列技术挑战 —— 感知和操作琳琅满目的商品,在不断变化的环境中导航以及对意外情况做出反应,等等—— 都有助于不断推进机器人的移动操作能力。
另一方面,团队也不再需要邀请 1000 个人,允许他们进入他们的家,还能使用非常直观的指标来衡量进度。——你做得有多好,系统中真正的问题是什么,变得非常明显,研究人员可以真正专注解决这些问题。
例如,机器人正确取回了多少件物品?它误抓了多少?花了多长时间? 最重要的是,他们还能在机器人实验室里重建典型的购物通道,在真实杂货店测试之间快速迭代技术(「在家」,这几乎是不可能的)。
从结果上看,TRI 在稳健的感知、操纵和运动规划方法方面取得了突破。超市购物工作发展出来的能力会转化为其他很多东西。正如记者参观丰田物流和制造设施时看到的,同样是分拣挑战,对象由杂货变成了零部件。他们相信,未来会更接近初衷愿景,即实用可靠的机器人伴侣,改善人们生活质量。几年来,除了研究目标上的曲线救国,TRI 机器人团队也在摸索将此类技术突破产品化的道路。
一开始,我们以为只需要找到这个人,就可以把技术交给第三方或丰田内部的人。但我们了解到的是,无论是一个业务部门,还是一个公司,或者像一个初创公司或丰田内部的一个部门,它们似乎不存在。Max Bajracharya 说。
剥离初创公司——就像 Alphabet 对旗下谷歌 X 实验室所做的那样——当然也是可以考虑的,尽管这不太可能是走向产品化的主要途径。然而,这条道路最终将以何种形式出现仍不清楚。
回想刚设立的时候,团队很明显只是在做机器人研究,部分原因是当时的技术还远远不能用于充满挑战的人类现实场景。几年过去,团队认为已经在非常具有挑战性的问题上取得了足够进展,现在开始看到它正应用到现实世界。
现在,团队仍用 80% 的时间去推动研究进展,但已经分配了大约 20% 的资源来弄清楚这项研究是否像想象的那么好、是否可以应用到现实世界中。
胜利属于谁?
如果汽车的发明者问骑马的人想要什么,他们可能会说只想要一匹更快的马。所以,让汽车制造商去想象一个与现状大不相同的未来,会十分困难。
当被问及谁最有望造出看护老人的机器人时,TRI 机器人用户体验(UX)设计师 Steffi Paepcke 曾如此解释为什么会是 TRI 。
TRI 家用机器人的研究名声可能不及丰田在自动驾驶领域的研究,但两者本质上都服务于共同的愿景和目标 —— 支持、帮助人和物从一个地方移动到另一个地方。
丰田公司曾非常明确地表示,他们不仅对开发汽车新技术感兴趣,对机器人技术也很感兴趣,因为汽车在户外的工作与机器人在室内所做的工作非常相似,虽然机器自主程度略有不同,但传感、感知和规划技术非常相似。
另外,机器人尚未在市场上大放异彩的部分原因在于缺乏更好、更便宜的传感器和执行器,这也是马斯克押注特斯拉人形机器人的重要原因。但人们似乎低估了作为「精益制造」集大成者,丰田在设计和量产更便宜、更优质机器人硬件方面的巨大潜力。
当然,与骨子里敢于冒险、激进的美国竞争者不同,日本企业基因让丰田的机器人之路走得更加谨慎和务实。
正如 TRI 首席执行官 Gill Pratt 曾说的,该公司正专注于机器人技术和人工智能技术,以「扩大而不是取代人类」。换句话说,丰田想要开发机器人不是为了方便,也不是为了替我们完成工作,而是为了让人们即使随着年龄的增长也能继续独立生活和工作。
例如,与其直接追求 L4,他们更希望自动驾驶技术可以延长老年人独立驾驶经历,而不是取消他们的驾驶乐趣;它们希望自己的机器人可以支持老年人更加独立地享受家庭生活,而不是被取代。
除了谨慎,他们也很务实。虽然研究支出可以不计成本,但非常需要考虑是否有可能(如果研究成功)最终产生具有合理成本的产品。如果客户买不起,也许它具有一定的学术价值,但实际上不会改变他们在现实世界中的生活质量。所以,从一开始,这里的研究就非常考虑成本。
人们最终希望建立真实世界的商业系统,这条道路的尽头是家用汽车和机器人。一旦做出了决定,丰田这样的日本企业通常会 All-in。过去在半导体领域,日本公司虽然很小心,很有条理,最后还是赢了。同样的事情,有可能还会发生在汽车和机器人身上。
参考资料
https://www.youtube.com/watch?v=kKz2mtYdQAA
https://techcrunch.com/2023/02/16/toyota-research-institutes-robots-leave-home/
https://techcrunch.com/2023/02/18/toyota-research-institute-svp-on-the-difficulty-of-building-the-perfect-home-robot/
https://medium.com/toyotaresearch/why-we-make-our-robots-shop-for-groceries-73ea8108caae
https://spectrum.ieee.org/gill-pratt-on-toyota-robot-plans