CAUSIFOLD
한국어English日本語简体中文Español
字号

Robotics

为什么机器人手指不能直接借用彼此的触觉经验?

触觉数据已积累到数百万样本,但不同传感器、不同机械手之间仍需要对齐信号含义和可执行动作。

两种机器人指尖按压灰色小球的剖面比较图:左侧内部摄像头观察表面形变,右侧用U形磁铁象征磁场感测,下方展示不同的抽象信号图案。
光学式触觉传感器通过图像读取表面形变,磁感测传感器利用磁场变化。图中的U形磁铁和信号图案仅用于说明原理,不代表特定产品的内部结构或实测数据。

研究机器人的触觉,也会用到普通的3D打印机。

美国西北大学研究团队开发的3D Cal,把3D打印机改造成反复按压触觉传感器的设备。设备在已知位置按压传感器,同时记录摄像头图像和实测的压入深度,为后续校准提供对应数据。

团队分别从DIGIT和GelSight Mini两种光学触觉传感器采集了约3.6万张图像,再利用图像与实测压入深度训练重建模型。重建此前未见过的物体表面时,两种传感器的平均误差分别约为0.16毫米和0.21毫米。1

为什么要将传感器反复按压数万次?

光学触觉传感器的末端覆盖着类似橡胶的柔软弹性材料。物体碰到传感器时,表面会发生形变,内部摄像头记录这一变化。

然而,仅凭摄像头捕捉到的形变图案,还无法直接知道传感器表面实际被压下了多深。必须先建立图像与实际压入深度之间的关系,就像给一把没有刻度的尺子标上刻度。

这个过程叫作校准(calibration)。机器人要根据触觉信号判断接触状态,首先需要确定指尖信号与实际形变之间的对应关系。

但这把尺子的刻度也可能随着使用而改变。

采集数据的指尖本身会发生变化

触觉传感器通过直接按压、摩擦物体来测量接触。如果指尖材料磨损或变形,即使触摸同一个物体,产生的信号也可能不同。

2026年,Cottrell等研究人员对光学触觉传感器进行了刻意加严的反复按压试验。两款商用传感器GelSight Mini和DIGIT的表面薄膜都出现破裂。2

即使没有肉眼可见的损伤,材料的硬度和受压方式也可能改变。这时,需要重新确认原有校准值是否依然准确。研究人员还提出了无需拆开传感器,就能测量其机械性质并更新校准值的方法。3

存储的数据可以保持不变,产生数据的传感器却可能发生变化。

如果传感器的结构本身也不同,问题就更复杂。

触摸同一个物体,信号也不一样

GelSight系列利用摄像头读取指尖表面的形变。TacTip追踪内部一排排微小凸点的运动。uSkin则利用磁场变化测量接触力。

即使以相同的力按压同一个物体,它们输出的信号仍不相同。因此,一个基于某种传感器学习如何估算力的模型,很难直接用于另一种传感器。

伦敦国王学院等机构的研究人员开发了GenForce,试图弥合这种差异。4

他们将各传感器的接触信号表示成标记点的排列图案,再学习不同传感器图案之间的对应关系,从而把在一种传感器上学到的力估算方法用于另一种传感器。

新传感器仍需要少量数据来建立对应关系,但需要额外采集并标注真实接触力的样本数量明显减少。

研究人员还在一定程度上降低了由指尖材料硬度差异引起的力估算误差。

GenForce主要迁移的是估算接触力的能力。研究团队也将其用于抓取和防滑控制,但这并不等于能把一台机器人的整套操作动作直接迁移给另一台机器人。

机器人要操作物体,不仅需要知道在哪里、以多大的力接触,还必须决定随后如何移动手指。

触觉数据已积累到数百万规模

2009年问世的ImageNet是一个大型图像数据库。不同研究团队可以使用同一批照片训练人工智能模型,并比较模型的表现。

触觉研究领域也在尝试大规模收集并共享数据。

Sparsh从超过46万张触觉图像中学习可用于不同任务的特征。5 TacX则利用约100万次以接触为主的操作交互,同时学习图像、声音、运动和压力信号。6

2026年发表的AnyTouch 2尝试联合学习不同光学触觉传感器产生的数据。所使用的数据集ToucHD包含约243万个触觉样本,既有真实接触,也有模拟接触。7

不过,不同研究的计数单位并不相同。有的计算图像张数,有的计算接触交互次数,还有的计算图像帧或触觉与力的配对测量样本。

如今,仅用“缺少触觉数据”已不足以解释这个领域的难题。

真正的问题是:一种机器人指尖采集的数据,能否被另一种指尖有效利用?

戴触觉手套的人手与关节结构不同的机械手分别握着灯泡。中央上方示意接触信号的对应关系,下方示意手指关节动作的适配。
利用人的触觉经验训练机器人,需要建立不同传感器信号与接触之间的联系,并使动作适合机械手的关节结构。这是综合不同研究问题的概念图,并非某一次完整实验的复现。

从人的手到机器人的手

想象一个人把灯泡旋进灯座。

手指握住灯泡,调整用力以免打滑,再一点点旋转。每次动作都会根据指尖感受到的压力和接触变化进行调整。

要把这段经验交给机器人,必须克服两种差异。

人手上的触觉手套与机器人传感器,即使感知同一次接触,也会产生不同的信号;而人手与机械手的手指长度、关节结构也不一样。

2026年机器人科学与系统大会(Robotics: Science and Systems,RSS)发表的TactAlign,提出了一种连接人类与机器人触觉信号的方法。8

研究人员观察人在操作物体时,以及机器人操作物体时,手和物体分别如何移动。随后依据这些动作推断接触之间的关系,让模型学会比较不同传感器的信号。

在旋拧灯泡的实验中,他们使用了20次人类操作示范。由于复用了此前任务学到的触觉映射,因此不需要为旋拧灯泡单独收集机器人示范。

研究团队报告的10次评估全部成功。

这表明,来自人手的接触经验可以帮助结构不同的机械手执行任务。

2026年10月以预印本形式公开的TACROSS,进一步研究了人类触觉数据如何辅助机器人学习。9

人的手套通过按压时电阻的变化进行测量,而机器人传感器读取的是电容变化。

研究人员没有直接让两种传感器的原始数值一一对应,而是寻找接触开始的时间、按压力度的变化等共同规律。

在四项操作任务中,仅用30次机器人示范训练时,平均成功率为51.3%。保留这30次机器人示范,再加入150次人类示范并使用完整的TACROSS触觉对齐方法后,平均成功率提高至91.9%。

机器人示范数量没有增加,任务成功率却提高了。人类触觉数据有助于训练,但机器人示范仍提供了学习动作所需的参照。

如果能连接不同指尖的信号,就可能减少必须直接在机器人上采集的训练资料。

不用目标机器人采集的上万小时经验

2026年10月预印本介绍的TacClaw-Infinity,提供了另一种采集操作经验的方式。10

研究团队使用名为TacClaw的手持夹爪式装置。人在抓取、移动物体时,设备会同时记录摄像头图像、触觉信号和手部动作。

研究人员报告称,采集这些数据时无需操作某台指定的目标机器人,便获得了超过1万小时的操作数据和超过100万个操作回合。截至2026年10月21日,公开数据门户仅宣布开放首批1,000小时;这一公开量不能与报告的采集总量混为一谈。

他们用这些数据训练模型,再在三种不同的机器人上测试。在报告的测试条件下,即使不为每种目标机器人额外采集对应任务的示范,也能完成堆叠、分类物体或擦拭表面等操作。

加入触觉信息的模型,其平均成功率高于未加入触觉信息的模型。

这一结果表明,不依赖特定目标机器人采集的操作经验,有望用于训练不同类型的机器人,但不能据此推断可以直接适用于所有机器人或任务。

不过,手持装置记录的动作能否由某台机器人执行,仍需要单独检查。

理解接触与执行相应动作,是两件不同的事。

左侧由同一批ImageNet式图片数据连接多个AI模型;右侧传感器A、B、C产生不同形式的触觉数据,经带问号和虚线的对齐步骤再连接到AI与机械手。
ImageNet让不同模型能够利用共同的图像数据进行训练和比较。不同触觉传感器的数据格式存在差异,重复利用时还需理解信号含义,并适配机器人的动作。这是概念对比图,不代表已经实现通用的自动转换系统。

数据仓库再大也不够

综合这些研究,共享触觉经验至少需要处理三种差异。

首先,需要连接不同传感器的信号。同一次接触会因测量方式不同而留下不同记录。

其次,需要适配手指与关节结构。理解接触并不意味着关节不同的机器人可以原样执行同一动作。

最后,传感器还会在使用中改变。研究人员已提出减少指尖材料硬度差异所致力估算误差的方法,但要在实际作业中察觉磨损并更新校准值,还需要进一步验证。

ImageNet的重要性不只在于照片数量庞大,更在于研究人员能够共享同一批数据,并比较不同模型的训练效果。

触觉数据也在快速增加。然而,如果采集经验的指尖与利用经验的指尖不同,测量信号和可执行的动作都需要重新对应。

机器人触觉的发展,关键不在于建立一个巨大的数据仓库,而在于让一根手指获得的接触经验能够被另一根手指再次利用。

继续阅读 CAUSIFOLD

在 Substack 关注 CAUSIFOLD 的新文章与动态。

在 Substack 订阅 ↗

注释

1. Rohan Kota et al., “3D Cal: An Open-Source Software Library for Depth Reconstruction on Vision-Based Tactile Sensors”, IEEE Robotics and Automation Letters 11(5), 6248–6255 (2026). DIGIT采集36,630张,GelSight Mini采集36,270张图像。对未知物体的平均深度重建误差分别为156μm和205μm。

2. F. Richard Cottrell et al., “A Durable Vision-Based Tactile Fingertip for Robotic Manipulation”, arXiv:2608.24242 (2026). 以39.2N载荷、每分钟45次进行加严试验,商用传感器的表面薄膜约在25至35分钟后首次破裂。该结果并非实际使用寿命。

3. Can Zhao et al., “In-situ Mechanical Calibration for Vision-based Tactile Sensors”, ICRA (2023). 无需拆卸传感器即可重新估算弹性体的杨氏模量和泊松比。

4. Zhuo Chen et al., “Training tactile sensors to learn force sensing from each other”, Nature Communications 17, 2101 (2026). 在GelSight、TacTip、uSkin等传感器上测试。建立位置对应关系所需的数据量低于带力标签图像的10%。针对7种不同硬度硅橡胶的补偿试验,法向力平均误差在硬→软迁移中降低30%,软→硬迁移中降低16%。这并非对长期磨损进行自动监测的实验。

5. Carolina Higuera et al., “Sparsh: Self-supervised touch representations for vision-based tactile sensing”, CoRL 2024, PMLR 270, 885–915 (2025). 使用超过46万张光学触觉图像。

6. Carolina Higuera et al., “Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation”, CoRL 2025, PMLR 305, 105–123. 使用Digit 360采集的约100万次富含接触信息的交互数据,预印本名称为Sparsh-X。

7. Ruoxuan Feng et al., “AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception”, ICLR (2026). ToucHD共2,426,174个触觉样本,包括模拟接触帧1,118,896个、真实操作帧584,842个,以及触觉与力的配对测量样本722,436个。它并非独立接触事件的总数。

8. Youngsun Wi et al., “TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment”, Robotics: Science and Systems (2026). 预印本。OSMO手套和Xela机器人传感器都采用磁学原理,但具体检测方式与信号结构不同。灯泡任务复用了先前学到的信号映射,用20次人类示范且没有该任务专属的机器人示范,10次评估全部成功。

9. Bo Chen et al., “TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning”, 2026年10月预印本。四项任务平均成功率:仅使用30次机器人示范为51.3%;相同30次机器人示范加150次人类示范和完整TACROSS方法为91.9%。去掉人类触觉信息后为73.1%,去掉信号对齐环节后为49.4%。不能将全部增益归因于触觉输入本身。

10. Fucai Zhu et al., “TacClaw-Infinity: A Large-Scale Vision-Tactile-Language-Action Dataset for Dexterous Manipulation”, 2026年10月预印本。作者报告采集规模超过1万小时、100万段任务记录、10亿帧。截至2026年10月21日,公开数据门户宣布开放首批1,000小时;总采集量、公开量与单个模型训练量并不相同。三种机器人和三项任务的作者报告结果显示,两类模型加入触觉信息后,平均成功率分别由50.0%升至74.0%、由46.0%升至72.7%。研究仓库已提供动作回放与运动学检查工具,策略训练和任务评估代码仍标为计划发布。

自愿提交,仅供内部查看。请勿填写个人信息。 隐私政策

这篇文章带给您什么?
报告事实、来源或翻译错误

完成安全验证后再发送。每次点击只发送一次。

© 2026 CAUSIFOLD。保留原创内容的相关权利。第三方研究和图像的权利仍归各自权利人所有。版权与使用条款