Chapter 8: 접촉 동역학 — 촉각을 제어 입력으로 읽기

개요

Part I가 센서와 데이터를 설명했고 Part II가 손의 하드웨어와 인간 시연을 다루었다면, 이제 질문은 더 직접적입니다. 손가락 끝의 tactile force, taxel map, slip signal, contact pose를 받았을 때 로봇은 어떻게 움직여야 하는가? 이 챕터는 그 출발점인 contact dynamics와 tactile feedback control을 정리합니다.

Cosmax 미팅 자료의 sequential multi-object grasping 문제는 좋은 기준 사례입니다. 첫 물체를 잡은 상태에서 다음 물체를 잡으려면, 손 안의 물체를 굴리거나 밀어 손가락을 다시 확보해야 합니다. 이때 핵심은 "파지를 성공했는가"가 아니라, 현재 접촉들이 어떤 동역학 상태에 있고 다음 접촉 전환을 허용하는가입니다 ^[6].

이 챕터를 읽고 나면... - 접촉 상태, 법선력, 마찰원뿔, complementarity 제약을 제어 문제로 설명할 수 있습니다. - tactile feedback이 impedance, admittance, MPC에서 어떤 변수로 들어가는지 구분할 수 있습니다. - model-based control과 learning residual을 결합하는 이유를 이해합니다. - Cosmax형 multi-object grasping에서 왜 contact dynamics가 먼저 필요한지 설명할 수 있습니다.

8.1 접촉을 상태로 본다는 것

로봇 손 제어에서 접촉은 단순한 이벤트가 아닙니다. 접촉은 손-물체 시스템의 상태 공간을 바꾸는 제약입니다. 접촉이 없으면 물체는 자유공간 rigid body로 움직이지만, 접촉이 생기면 손가락 위치, 접촉 법선, 마찰계수, 물체 질량, 접촉 변형이 함께 운동을 결정합니다.

제어기가 tactile sensor에서 받아야 하는 최소 상태는 네 층으로 나눌 수 있습니다.

이 네 층이 없으면 controller는 손가락 관절 위치만 보고 움직입니다. 그 결과는 "닫았으니 잡았다"에 가깝습니다. 촉각 기반 제어는 반대로 "어디서 어떤 방향으로 얼마나 힘이 닫혀 있는가"를 보고 움직입니다.

8.2 Complementarity와 contact-implicit planning

접촉 동역학을 최적제어로 쓰면 자주 등장하는 조건이 complementarity입니다. 접촉점의 signed distance가 양수이면 접촉력이 0이어야 하고, 접촉력이 양수이면 signed distance는 0이어야 합니다. 직관적으로는 "떨어져 있으면 힘을 줄 수 없고, 힘을 주려면 닿아 있어야 한다"입니다.

Cosmax 2026-05-12 자료는 Pang et al.의 quasi-dynamic contact model과 Jiang et al.의 contact-implicit MPC를 주요 후보로 검토했습니다 ^[1]. contact-implicit 방식은 contact sequence를 사람이 미리 정하지 않고 trajectory optimization이 접촉 생성/소멸을 함께 선택하게 합니다. 이것은 in-hand rearrangement처럼 새 접촉이 생기거나 사라지는 task에 자연스럽습니다.

하지만 단점도 명확합니다.

• complementarity 제약은 비연속적이라 최적화가 어렵습니다.
• 물체 mesh, 질량, 관성, stiffness, friction coefficient가 필요합니다.
• 좋은 global trajectory를 찾는 데 수십 초에서 수 분이 걸릴 수 있습니다.
• 실제 손에서는 tactile force, object pose, joint state의 지연과 노이즈가 계획을 흔듭니다.

따라서 2026년 현재 model-based contact planning은 단독 해법이라기보다 구조를 주는 상위 모델입니다. 실제 시스템에서는 tactile feedback으로 접촉 상태를 추정하고, low-level impedance controller가 접촉을 부드럽게 유지하며, residual learning이 모델 오차를 흡수하는 구성이 더 현실적입니다.

8.3 Impedance, admittance, force control

촉각 제어의 low-level 기본기는 impedance/admittance control입니다. 목표는 접촉을 "딱딱하게 추적"하는 것이 아니라, 원하는 힘-변위 관계를 유지하는 것입니다. 예를 들어 표면을 닦는 태스크에서는 위치 오차를 0으로 만드는 것보다 일정한 접촉력을 유지하는 것이 더 중요합니다. 전구 삽입이나 캡 조립에서는 과도한 힘을 피하면서도 충분한 축방향 힘을 유지해야 합니다.

UMI-FT의 구조는 이 분리를 잘 보여줍니다 ^[5]. 상위 diffusion policy는 비전과 force/torque 정보를 보고 느린 참조를 만들고, 하위 controller는 팔 compliance와 gripper force를 더 빠른 주기로 조정합니다. 같은 원리가 다지 핸드에도 적용됩니다. 상위 계획은 object reference motion이나 target grasp를 만들고, 손가락 controller는 tactile force를 이용해 접촉을 유지합니다.

이 구조에서 tactile sensor는 단순 관찰값이 아니라 폐루프의 feedback입니다. 센서가 느리거나 calibration이 불안정하면 상위 policy는 그럭저럭 돌아가도 low-level 접촉 안정성이 무너집니다.

8.4 Model-based와 RL-based의 현실적 분업

Cosmax 2026-06-05 자료는 model-based와 RL-based 접근의 차이를 더 명확히 정리합니다. model-based는 데이터 수집이 적고 해석 가능하지만, 물체 geometry와 물성, object pose 추정이 필요합니다. RL은 geometry 일반화와 state abstraction이 쉽고 tactile modality 추가가 자연스럽지만, simulator와 training resource가 필요합니다 ^[7].

따라서 sequential multi-object grasping에서는 다음 분업이 현실적입니다.

1. model-based planner가 물체를 손 안에서 어느 방향으로 옮길지 대략의 reference motion을 제공합니다.
2. tactile feedback controller가 실제 접촉력과 slip을 보며 안정성을 유지합니다.
3. residual RL 또는 diffusion policy가 모델 오차, 마찰 불확실성, occlusion, 손가락 간섭을 보정합니다.
4. 실패 로그는 simulation과 real replay로 돌아가 다음 policy update의 데이터가 됩니다.

이 조합은 "MPC냐 RL이냐"의 선택이 아니라, 모델은 구조를 주고 학습은 현실의 잔차를 흡수한다는 관점입니다. 제조 현장에서는 특히 이 분업이 중요합니다. 순수 RL은 설명성과 안전 gate가 약하고, 순수 MPC는 물체 다양성과 contact switching에서 약합니다.

8.5 Cosmax형 sequential multi-object grasping으로 보는 제어 변수

Cosmax 문제를 다시 쓰면 다음과 같습니다. 손 안에 첫 물체가 있습니다. 다음 물체를 잡기 위해 일부 손가락을 비워야 합니다. 하지만 첫 물체를 떨어뜨리면 안 됩니다. 이 문제의 tactile control state는 다음 네 변수를 포함해야 합니다.

• 첫 물체의 안정성: force closure margin, slip margin, palm/finger support.
• 재배치 가능성: 어떤 손가락을 떼도 물체가 유지되는가.
• 다음 파지 가능성: 비워야 하는 손가락과 접근 방향.
• 센싱 불확실성: occlusion 때문에 object pose가 불확실할 때 tactile contact이 보정하는 정보.

이 관점에서 contact dynamics는 Part III 전체의 문법입니다. Chapter 9은 slip과 shear를, Chapter 10는 multi-contact in-hand rearrangement를, Chapter 11은 force closure와 tactile grasp planning을 다룹니다.

요약

촉각 기반 제어의 첫 단계는 센서 출력을 contact state로 바꾸는 것입니다. contact state가 있어야 force control, impedance, MPC, residual learning이 같은 문제를 풀 수 있습니다. Cosmax형 제조 태스크처럼 손 안에 이미 물체가 있고 다음 물체를 추가로 잡아야 하는 상황에서는, 접촉 동역학을 무시한 grasp planning만으로는 충분하지 않습니다.

제조 셀 적용 체크포인트

접촉 동역학을 현장 제어로 옮길 때 핵심은 contact state를 로그와 제어 루프가 공유하는 언어로 만드는 것입니다. 각 시도는 object id, grasp candidate, 접촉 패치, normal/shear force, slip event, operator override, cycle time, 제품 손상 여부를 남겨야 합니다. 성공률만 기록하면 실패 원인이 perception인지, contact acquisition인지, force closure 부족인지, 실행 중 slip인지 분리할 수 없습니다.

제어 구조도 시간 규모별로 나누어야 합니다. 비전과 task policy는 느리게 물체와 공정 순서를 판단하고, contact MPC는 중간 주기로 손가락 위치와 힘의 기준을 만들며, impedance/reflex 계층은 tactile force와 slip을 빠르게 닫습니다. 이 분리가 없으면 상위 정책은 빠른 접촉 사건을 놓치고, 하위 reflex는 다음 물체를 잡기 위한 의도를 이해하지 못합니다. Cosmax형 sequential multi-object grasping에서는 이 분업이 특히 중요합니다.

실전 적용 메모

이 장의 핵심은 접촉 동역학 제어을 하나의 연구 키워드로만 보지 않고, 실제 로봇핸드 시스템에서 어떤 결정을 바꾸는지 묻는 데 있습니다. 실험을 설계할 때는 먼저 관측 가능한 상태를 정해야 합니다. 어떤 센서 값이 contact state, slip margin, force limit, object pose, operator override 중 무엇을 설명하는지 명확하지 않으면, 성공률이 높아도 다음 개선 루프가 막힙니다.

두 번째는 기록 단위입니다. 논문 데모는 성공 장면을 보여주지만, 제조형 연구는 실패를 재현 가능한 record로 남겨야 합니다. attempt id, task phase, hardware configuration, calibration version, tactile summary, policy output, human intervention을 함께 저장해야 다른 장에서 설명한 데이터 표현, 제어, 학습, 전이가 서로 연결됩니다.

마지막으로 이 장의 내용을 적용할 때는 "가장 성능이 좋은 방법"보다 "어떤 실패를 줄이는 방법인가"를 먼저 물어야 합니다. 촉각 로봇핸드의 실용성은 센서, 핸드, 정책, 시뮬레이터가 각각 좋은지보다, 실패 원인을 나누고 다음 실험을 더 싸게 만드는지에서 드러납니다.

장별 구현 프레임워크

접촉 동역학을 실제 시스템으로 옮길 때 첫 단계는 상태 정의입니다. 이 장에서 다루는 개념은 추상적인 성능 지표가 아니라, controller와 logger가 함께 읽을 수 있는 state variable이어야 합니다. 예를 들어 contact state, normal force, shear vector, slip margin, object pose, task phase, operator override, product-damage flag가 각각 어느 좌표계와 어느 시간 해상도에서 저장되는지 정해야 합니다. 이 정의가 없으면 정책이 성공하더라도 왜 성공했는지 알기 어렵고, 실패했을 때도 planner, controller, sensor, hardware, operator workflow 중 어느 부분을 고쳐야 하는지 분리할 수 없습니다.

두 번째 단계는 제어 루프를 시간 규모별로 나누는 것입니다. 빠른 루프는 200-1000 Hz에서 force derivative, shear spike, motor current, joint torque를 처리합니다. 중간 루프는 20-100 Hz에서 contact pose, grasp phase, reference finger motion을 갱신합니다. 느린 루프는 1-10 Hz에서 task instruction, object identity, SKU, fixture state, next grasp candidate를 판단합니다. 접촉 동역학이 어느 루프에 들어가는지 명확해야 VLA, MPC, tactile reflex, residual policy가 서로 다른 일을 하면서도 같은 목표를 향해 작동합니다. 모든 정보를 하나의 거대 정책에 넣는 방식은 구현은 단순해 보이지만, latency와 failure diagnosis에서 약합니다.

세 번째 단계는 record schema입니다. 최소한 attempt id, robot hand model, sensor layout, calibration version, task phase, object/SKU id, selected grasp, measured contact patch, normal/shear force summary, slip event, action output, safety intervention, final outcome을 저장해야 합니다. 제조 셀에서는 이 record가 곧 QA trace입니다. 연구실에서는 한 번의 성공 영상이 설득력을 가질 수 있지만, 생산 라인에서는 실패가 반복될 때 원인을 좁히는 능력이 더 중요합니다. 따라서 접촉 동역학 실험의 결과표는 success rate 하나가 아니라 failure type distribution, retry count, damage rate, cycle time variance, operator intervention frequency를 함께 보여야 합니다.

네 번째 단계는 작은 테스트 프로토콜입니다. 처음부터 모든 물체와 모든 손 동작을 다루면 실패 원인을 해석하기 어렵습니다. 먼저 single contact acquisition, stable hold, controlled release, contact switch, recovery after slip 같은 원자 태스크를 정의합니다. 그 다음 두세 개의 원자 태스크를 묶어 sequential manipulation을 만들고, 마지막에 Cosmax형 first grasp -> in-hand rearrangement -> second grasp 시나리오로 확장합니다. 이렇게 해야 접촉 동역학이 실제로 어떤 failure mode를 줄였는지 확인할 수 있습니다. 특히 손안 조작과 다물체 파지는 성공/실패가 한 순간에 결정되지 않고, 여러 contact transition의 누적으로 결정됩니다.

다섯 번째 단계는 하드웨어와 유지보수 조건을 실험 변수로 포함하는 것입니다. 같은 알고리즘도 젤 표면 마모, 패드 오염, 케이블 장력, 센서 교체 후 calibration, 손가락 backlash, 온도, 표면 습도에 따라 다르게 작동합니다. 따라서 실험 로그에는 software version뿐 아니라 pad age, cleaning state, calibration time, replacement event, fault code를 기록해야 합니다. 이 정보가 있어야 모델 성능 저하와 센서/기구 열화를 분리할 수 있습니다. 제조용 tactile robotics는 policy benchmark가 아니라 운영 시스템이기 때문에, maintenance variable은 주변 정보가 아니라 핵심 state입니다.

마지막 단계는 의사결정 기준입니다. 접촉 동역학을 도입했을 때 성공률이 올라가는지만 보지 말고, 어떤 실패가 줄었는지를 확인해야 합니다. perception failure가 줄었는지, contact acquisition failure가 줄었는지, force closure 부족이 줄었는지, execution-time slip이 줄었는지, 아니면 operator override가 줄었는지 분리해야 합니다. 이 분해가 가능해야 다음 투자가 정해집니다. 센서를 바꿀지, 손을 바꿀지, controller를 바꿀지, simulator를 보강할지, 데이터 수집을 늘릴지가 명확해집니다.

검증 프로토콜: 데모에서 반복 가능한 실험으로

이 장의 방법을 검증할 때는 한 번의 성공 장면보다 반복 가능한 실험 단위가 중요합니다. 첫 단계는 reset condition을 고정하는 것입니다. 물체의 시작 위치, 손의 초기 자세, 센서 calibration, 패드 상태, 주변 조명, fixture 상태가 매 trial마다 다르면 tactile feedback의 효과를 분리할 수 없습니다. 두 번째 단계는 disturbance를 의도적으로 넣는 것입니다. 물체를 조금 회전시키거나, 표면 마찰을 바꾸거나, 손가락 하나의 초기 접촉을 늦추면 controller가 진짜로 접촉 정보를 쓰는지 드러납니다.

세 번째 단계는 ablation입니다. tactile 없이, normal force만, shear까지 포함, slip event까지 포함, full tactile summary까지 포함하는 순서로 비교해야 합니다. 이렇게 해야 성능 향상이 taxel 수 때문인지, 전단력 때문인지, 시간 해상도 때문인지, 단순히 더 큰 policy 때문인지 구분할 수 있습니다. 네 번째 단계는 recovery metric입니다. 실패를 완전히 막지 못하더라도, slip 이후 회복 시간이 줄거나 operator override가 줄면 제조 관점에서는 의미 있는 개선입니다.

마지막 단계는 deployment rehearsal입니다. 연구자가 직접 조정하는 실험과 작업자가 절차서대로 수행하는 실험은 다릅니다. 작업자가 센서를 교체하고 calibration을 실행한 뒤 같은 KPI가 유지되는지 봐야 합니다. 이 단계에서 cycle time, damage rate, retry count, downtime, intervention frequency가 함께 유지되어야 제조 적용 가능성을 말할 수 있습니다.

제어 설계 패턴: tactile signal을 action으로 바꾸는 순서

Part III의 네 장은 모두 같은 질문으로 돌아옵니다. 센서가 접촉 정보를 주었을 때, 손가락은 어떤 action을 해야 하는가? 이 질문에 대한 실용적 답은 세 단계입니다. 첫째, tactile signal을 즉시 action으로 쓰지 말고 contact belief로 바꿉니다. contact belief는 접촉 위치, 접촉 방향, 힘의 여유, 미끄러짐 가능성, 다음 접촉 전환 가능성을 포함합니다. 둘째, contact belief를 safety gate와 reference update로 나눕니다. safety gate는 과도한 힘, slip, collision, product damage risk를 막고, reference update는 손가락 위치나 힘 목표를 바꿉니다. 셋째, policy가 이 두 결과를 다시 받아 다음 high-level action을 고르게 합니다.

이 구조는 특히 제조 다물체 태스크에서 중요합니다. 첫 물체를 안정적으로 잡았다는 판단은 단순히 force가 충분하다는 뜻이 아닙니다. 손가락 하나를 떼어도 남은 접촉이 물체를 지지하는지, 손바닥 support가 실제로 생겼는지, 다음 물체 접근 경로가 열리는지, slip margin이 충분한지를 함께 봐야 합니다. tactile sensing은 이 판단을 순간마다 갱신합니다. 따라서 contact controller의 출력은 "grip harder" 하나가 아니라 hold, release, shift, roll, regrasp, abort 같은 discrete mode와 finger-level reference가 함께 있어야 합니다.

실험 설계에서는 policy success rate보다 mode transition의 품질을 봐야 합니다. mode가 바뀔 때 force spike가 생기는지, contact patch가 예상한 방향으로 이동하는지, shear가 friction cone 안에 남는지, object pose estimate가 tactile evidence와 충돌하는지 확인합니다. 이 로그가 있어야 controller가 잘못됐는지, hand morphology가 부족한지, sensor placement가 나쁜지 판단할 수 있습니다.

Operator handoff와 안전 정지 기준

제조 셀에서 촉각 제어는 작업자에게 설명 가능한 절차로 끝나야 합니다. 시스템이 어떤 상태에서 계속 진행하고, 어떤 상태에서 속도를 낮추고, 어떤 상태에서 정지하는지 명확해야 합니다. 예를 들어 slip margin이 낮아지면 먼저 grip force를 제한 범위 안에서 보정하고, contact patch가 예상 영역을 벗어나면 재파지를 시도하며, force limit이나 product-damage risk를 넘으면 즉시 abort mode로 들어가야 합니다. 이 기준은 policy 내부에만 숨어 있으면 안 되고, operator UI와 QA log에 같은 이름으로 표시되어야 합니다.

handoff 절차에는 세 가지 정보가 필요합니다. 첫째, 현재 phase입니다. acquire, hold, shift, release, regrasp, abort 중 어디인지 표시해야 합니다. 둘째, 정지 이유입니다. slip, over-force, lost contact, pose uncertainty, hardware fault를 구분해야 합니다. 셋째, 다음 행동입니다. 자동 retry, 작업자 확인, 센서 청소, calibration 재실행, 물체 제거 중 하나로 이어져야 합니다. 이렇게 설계하면 tactile control은 블랙박스가 아니라 작업자와 함께 운영되는 제조 시스템이 됩니다.

참고문헌

1. Pang, T., Suh, H. J., Yang, L., & Tedrake, R. (2023). Global planning for contact-rich manipulation via local smoothing of quasi-dynamic contact models. IEEE Transactions on Robotics. [Pang et al., 2023] source
2. Jiang, Z., et al. (2024). Contact-implicit model predictive control for dexterous in-hand manipulation: A long-horizon and robust approach. IROS 2024. [Jiang et al., 2024] source
3. Jiang, Z., et al. (2025). Robust model-based in-hand manipulation with integrated real-time motion-contact planning and tracking. arXiv:2505.04978. [Jiang et al., 2025] source
4. Chen, T. G., et al. (2025). DexForce: Force-informed action for contact-rich manipulation. arXiv preprint. [Chen et al., 2025] source
5. Choi, H., et al. (2026). UMI-FT: Force-torque-aware universal manipulation interface. Research manuscript and seminar material. [Choi et al., 2026] source
6. Cosmax Robotics Meeting. (2026a). Sequential multi-object grasping and active in-hand rearrangement problem statement. Internal meeting PDF, 2026-05-12. [Cosmax, 2026a] private source
7. Cosmax Robotics Meeting. (2026b). Model-based approach vs RL-based approach for in-hand manipulation. Internal meeting PDF, 2026-06-05. [Cosmax, 2026b] private source