로봇의 촉각을 연구하는 데 보급형 3D 프린터가 쓰인다.
노스웨스턴대 연구진이 만든 촉각 센서 자동 교정 도구 3D Cal은 3D 프린터를 센서를 반복해서 누르는 장치로 활용한다. 정해진 위치와 깊이로 센서를 누르고, 그때의 카메라 영상과 실제 눌린 깊이를 함께 기록한다.
연구진은 광학식 촉각 센서 DIGIT과 GelSight Mini에서 각각 3만 6천 장가량의 영상을 모았다. 이 자료로 카메라 영상에서 표면의 높낮이를 알아내는 방법을 학습시켰다. 처음 보는 물체의 표면을 재구성했을 때 평균 오차는 각각 약 0.16밀리미터와 0.21밀리미터였다.1
왜 이런 작업이 필요할까.
광학식 촉각 센서의 끝에는 고무처럼 눌렸다가 원래 모양으로 돌아오는 재료가 있다. 물체가 닿으면 표면이 변형되고, 내부 카메라가 그 모습을 읽는다.
하지만 카메라에 찍힌 무늬만으로는 실제로 얼마나 눌렸는지 알 수 없다. 영상과 눌린 깊이의 관계를 먼저 맞춰야 한다. 눈금 없는 자에 눈금을 새기는 것과 비슷하다.
이를 **교정(calibration)**이라고 한다. 로봇은 물체의 표면을 알아보기 전에 자기 손가락이 보내는 신호부터 해석해야 한다.
그런데 센서를 쓰다 보면 그 눈금도 달라질 수 있다.
손가락은 데이터를 만들면서 변한다
촉각 센서는 물체를 직접 누르고 문지르며 측정한다. 손끝의 재료가 닳거나 변형되면 같은 물체를 만져도 예전과 다른 신호가 나올 수 있다.
2026년 코트렐 공동연구진은 광학식 촉각 센서를 반복해서 누르는 가혹시험을 진행했다. 상용 센서인 GelSight Mini와 DIGIT에서는 표면막이 파열됐다.2
눈에 띄는 손상이 없더라도 재료의 단단함이나 눌리는 방식이 달라질 수 있다. 이럴 때는 기존 교정값이 여전히 정확한지 확인해야 한다. 센서를 분해하지 않고 재료의 성질을 측정해 교정값을 갱신하는 방법도 연구되고 있다.3
저장된 데이터는 그대로여도 데이터를 만드는 센서의 상태는 변할 수 있다.
센서마다 구조까지 다르다면 문제는 더 커진다.
같은 물체를 만져도 신호는 다르다
GelSight 계열은 손끝 표면의 변형을 카메라로 읽는다. TacTip은 내부에 배열된 작은 돌기의 움직임을 추적한다. uSkin은 자기장의 변화를 이용해 접촉으로 생긴 힘을 측정한다.
같은 물체를 같은 힘으로 눌러도 센서가 내놓는 신호는 서로 다르다.
한 센서의 신호로 힘을 알아내도록 학습한 모델을 다른 센서에 그대로 적용하기 어려운 이유다.
킹스칼리지런던 등 공동연구진이 개발한 GenForce는 이 문제를 해결하려는 시도다.4
연구진은 각 센서가 감지한 접촉을 점들의 배열로 나타낸 뒤, 서로 다른 센서에서 나온 배열을 연결했다. 이를 이용해 한 센서에서 학습한 힘 측정 방법을 다른 센서에 옮겼다.
새 센서에서도 두 센서의 신호를 연결할 자료는 필요했다. 하지만 실제로 가해진 힘을 일일이 측정해 정답을 붙이는 작업은 크게 줄일 수 있었다.
연구진은 손끝 재료의 단단함이 다를 때 생기는 힘 측정 오차도 일부 줄였다.
GenForce가 주로 옮기는 것은 힘을 알아내는 능력이다. 연구진은 이를 물체 잡기와 미끄러짐 보정에도 활용했지만, 물체를 다루는 행동 전체를 다른 로봇에 옮기는 기술과는 구별해야 한다.
로봇이 물체를 다루려면 어디에 얼마나 강하게 닿았는지 알아야 할 뿐 아니라, 그에 맞춰 손가락을 어떻게 움직일지도 결정해야 한다.
데이터는 이미 수백만 개로 늘었다
2009년 소개된 **이미지넷(ImageNet)**은 여러 연구자가 같은 사진 자료로 인공지능 모델을 학습시키고 성능을 비교할 수 있게 한 대규모 데이터베이스다.
촉각에서도 자료를 대량으로 모아 함께 활용하려는 연구가 이어지고 있다.
Sparsh는 46만 장 이상의 촉각 이미지에서 여러 작업에 활용할 특징을 학습했다.5 TacX는 약 100만 건의 접촉 상황을 기록하고, 영상뿐 아니라 소리와 움직임, 압력 정보까지 함께 학습했다.6
2026년 발표된 AnyTouch 2는 서로 다른 광학식 촉각 센서에서 얻은 자료를 함께 학습하는 방법이다. 여기에 사용된 자료 모음 ToucHD에는 실제와 가상 접촉을 합쳐 약 243만 개의 촉각 샘플이 들어 있다.7
연구마다 데이터를 세는 단위는 다르다. 어떤 연구는 이미지 수를, 다른 연구는 접촉 과정이나 촉각·힘 측정 쌍의 수를 센다.
이제 촉각 연구의 어려움을 데이터 부족만으로 설명하기는 어렵다.
문제는 이렇게 모은 자료를 손가락이 다른 로봇에서도 사용할 수 있느냐다.
사람의 손에서 로봇의 손으로
사람이 전구를 돌려 끼우는 장면을 생각해보자.
전구를 손가락으로 잡고, 미끄러지지 않도록 힘을 조절하며 조금씩 돌린다. 손끝으로 느끼는 압력과 접촉의 변화에 맞춰 움직임을 조절한다.
로봇에 이 경험을 옮기려면 두 가지 차이를 넘어야 한다.
사람의 촉각 장갑과 로봇 센서는 같은 접촉을 서로 다른 신호로 기록한다. 사람과 로봇은 손가락의 길이와 관절 구조도 다르다.
2026년 국제 로봇학술대회 RSS에서 발표된 TactAlign은 사람과 로봇의 촉각 신호를 연결하는 방법이다.8
연구진은 사람이 물체를 다룰 때와 로봇이 물체를 다룰 때 손과 물체가 어떻게 움직이는지 살폈다. 이를 바탕으로 서로 다른 센서의 신호를 비교할 수 있도록 학습시켰다.
전구를 돌려 끼우는 실험에서는 사람이 직접 작업을 수행한 기록 20건을 사용했다. 앞선 과제에서 학습한 촉각 변환 방법을 다시 활용했기 때문에 전구 과제를 위한 로봇의 작업 기록은 따로 필요하지 않았다.
연구진이 수행한 열 차례의 평가에서는 모두 성공했다.
사람의 손에서 얻은 접촉 경험을 다른 구조의 로봇 손에 활용한 것이다.
2026년 10월 공개된 TACROSS는 사람의 촉각 데이터가 로봇 학습에 얼마나 도움이 되는지를 시험했다.9
사람의 장갑은 눌렸을 때 전기저항이 달라지는 방식을 이용하고, 로봇 센서는 전기용량의 변화를 읽는다.
연구진은 두 센서의 측정값을 직접 맞추는 대신 접촉이 시작되는 때나 누르는 정도가 달라지는 양상을 찾아 신호를 연결했다.
네 가지 조작 과제에서 로봇을 움직여 수집한 작업 기록 30건만 사용했을 때 평균 성공률은 51.3%였다. 여기에 사람이 수행한 작업 기록 150건을 더하고 TACROSS의 촉각 변환 방법을 적용하자 91.9%로 높아졌다.
같은 수의 로봇 작업 기록으로 더 높은 성공률을 얻은 것이다. 사람의 촉각 데이터가 로봇의 학습에 도움이 될 수 있음을 보여준다.
서로 다른 손가락의 신호를 연결하는 방법이 발전하면서, 로봇을 직접 움직여 모아야 하는 학습자료를 줄일 가능성도 커졌다.
로봇 없이 모은 1만 시간의 경험
2026년 10월 공개된 TacClaw-Infinity는 데이터를 모으는 방식에도 변화를 가져왔다.10
연구진은 사람이 손에 쥐고 움직이는 집게 모양의 장치 TacClaw를 사용했다. 물체를 잡고 옮길 때 카메라 영상과 촉각 신호, 손의 움직임을 함께 기록했다.
연구진은 이렇게 특정 로봇을 직접 움직이지 않고 1만 시간 이상의 조작 과정과 100만 건이 넘는 작업 기록을 모았다고 보고했다.
수집한 자료로 학습한 모델은 서로 다른 세 종류의 로봇에서 시험했다. 각 로봇을 직접 움직여 별도의 학습자료를 모으지 않고도 물체를 쌓거나 분류하고 표면을 닦는 과제를 수행했다.
촉각 정보를 활용한 모델은 그렇지 않은 모델보다 평균 성공률이 높았다.
특정 로봇에 의존하지 않고 모은 경험을 여러 로봇의 학습에 활용할 수 있음을 보여준 것이다.
다만 집게로 기록한 움직임을 다른 로봇도 실행할 수 있는지는 별도로 확인해야 했다.
접촉을 이해하는 것과 그 접촉에 맞는 동작을 실행하는 것은 서로 다른 문제다.
거대한 데이터 창고만으로는 부족하다
지금까지의 연구를 종합하면 촉각 경험을 공유하려면 세 가지 차이를 고려해야 한다.
먼저 센서마다 다른 신호를 연결해야 한다. 같은 접촉이라도 측정 방식에 따라 기록이 달라지기 때문이다.
손가락과 관절 구조가 다르면 움직임도 다시 맞춰야 한다. 접촉을 이해했다고 해서 다른 로봇이 같은 동작을 그대로 따라 할 수 있는 것은 아니다.
센서가 사용하면서 변하는 문제도 남는다. 손끝 재료의 단단함에 따른 측정 오차를 줄이는 방법은 나왔지만, 실제 작업 중 손끝이 닳아갈 때 이를 감지하고 교정값을 갱신하는 과정은 더 검증해야 한다.
이미지넷의 힘은 사진이 많아서만이 아니라 같은 자료를 여러 연구자가 함께 쓰고, 학습 결과를 비교할 수 있었던 데 있다.
촉각에서도 데이터는 빠르게 늘고 있다. 그러나 데이터를 만든 손가락과 이를 사용하는 손가락이 다르면 측정 신호와 움직임을 각각 맞춰야 한다.
로봇 촉각의 성공은 거대한 데이터 저장소 하나가 아니라, 서로 다른 손가락이 같은 접촉 경험을 다시 사용할 수 있게 만드는 데 달려 있다.
다음 이야기도 만나보세요
CAUSIFOLD의 새 기사와 소식을 Substack에서 이어서 보실 수 있습니다.
Substack에서 구독하기 ↗각주
1. Rohan Kota et al., “3D Cal: An Open-Source Software Library for Depth Reconstruction on Vision-Based Tactile Sensors”, IEEE Robotics and Automation Letters 11(5), 6248–6255 (2026). DIGIT에서 36,630장, GelSight Mini에서 36,270장의 영상을 수집했다. 처음 보는 물체의 평균 깊이 재구성 오차는 각각 156μm와 205μm였다.
2. F. Richard Cottrell et al., “A Durable Vision-Based Tactile Fingertip for Robotic Manipulation”, arXiv:2608.24242 (2026). 39.2N의 하중으로 분당 45회 누르는 가혹시험. 상용 센서의 최초 표면막 파열은 해당 조건에서 약 25~35분 뒤 관찰됐으며 실제 사용 수명을 뜻하지 않는다.
3. Can Zhao et al., “In-situ Mechanical Calibration for Vision-based Tactile Sensors”, ICRA (2023). 센서를 분해하지 않고 탄성체의 영률과 푸아송비를 다시 추정하는 방법이다.
4. Zhuo Chen et al., “Training tactile sensors to learn force sensing from each other”, Nature Communications 17, 2101 (2026). GelSight·TacTip·uSkin 등에서 시험했다. 위치 대응자료의 양은 힘의 정답이 있는 이미지 수의 10% 미만이었다. 7종의 서로 다른 경도 실리콘을 이용한 재료 보정 실험에서는 수직 방향 힘 오차가 단단한 재료에서 부드러운 재료로 옮기는 조건에서 30%, 반대 조건에서 16% 감소했다. 실험실의 재료 차이 보정을 실제 장기간 마모 자동추적과 동일시하지 않는다.
5. Carolina Higuera et al., “Sparsh: Self-supervised touch representations for vision-based tactile sensing”, CoRL 2024, PMLR 270, 885–915 (2025). 46만 장 이상의 광학식 촉각 이미지로 학습했다.
6. Carolina Higuera et al., “Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation”, CoRL 2025, PMLR 305, 105–123. Digit 360으로 수집한 약 100만 건의 접촉 중심 상호작용을 활용했다. 프리프린트 명칭은 Sparsh-X다.
7. Ruoxuan Feng et al., “AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception”, ICLR (2026). ToucHD의 총 2,426,174개 촉각 샘플은 가상 접촉 프레임 1,118,896개, 실제 조작 프레임 584,842개, 촉각·힘 측정 쌍 722,436개를 합한 수치다. 독립적인 접촉 사건의 개수로 해석하거나 다른 연구의 이미지·작업 기록 수와 직접 비교하지 않는다.
8. Youngsun Wi et al., “TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment”, Robotics: Science and Systems (2026). 프리프린트. 사람의 OSMO 장갑과 로봇의 Xela 촉각 센서는 모두 자기장 기반이지만 신호 구조와 감지 방식이 다르다. 전구 과제는 앞선 과제에서 학습한 촉각 변환을 재사용했으며 인간 시연 20건으로 학습해 10회 평가에서 성공했다.
9. Bo Chen et al., “TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning”, arXiv:2610.11945 (2026년 10월 공개 프리프린트). 네 과제 평균 성공률은 로봇 작업 기록 30건만 사용한 조건 51.3%, 로봇 30건과 인간 150건 및 전체 TACROSS 방법 적용 조건 91.9%였다. 인간 촉각 정보를 빼면 73.1%, 접촉 신호 정렬 단계를 빼면 49.4%였다. 향상분 전체를 촉각 입력 하나의 효과로 돌리지 않는다.
10. Fucai Zhu et al., “TacClaw-Infinity: A Large-Scale Vision-Tactile-Language-Action Dataset for Dexterous Manipulation”, arXiv:2610.20320 (2026년 10월 공개 프리프린트). 저자는 총 1만 시간 이상, 100만 작업 에피소드 이상, 10억 프레임 이상 수집했다고 보고했다. 2026년 10월 21일 확인한 공개 데이터 포털은 첫 1,000시간 분량을 공개 중이라고 밝혔다. 전체 수집량과 공개량·개별 모델 학습량은 다르다. 세 종류 로봇·세 과제에서 평가한 저자 보고 성공률은 두 정책 계열에서 촉각 추가 전후 각각 50.0%→74.0%, 46.0%→72.7%였다. 연구진 저장소에 따르면 로봇 움직임 평가 도구는 제공되지만 정책 학습·과제 수행 평가 코드는 추후 공개 예정이다.