사람 손을 뗀 실물 파지 데이터 수집 루프, 능숙한 로봇 손 학습의 병목 돌파

로봇이 사람처럼 다섯 손가락으로 물건을 능숙하게 집어 드는 일, 이른바 dexterous grasping은 로보틱스에서 오랫동안 풀리지 않은 난제였다. 단순한 평행 그리퍼가 두 면으로 물체를 집는 것과 달리, 다관절 손은 자유도가 훨씬 높아 무한에 가까운 자세 조합이 가능하다. 문제는 어떤 자세가 실제로 물체를 안정적으로 들어 올리는지를 미리 알 방법이 마땅치 않다는 데 있다. 결국 학습에는 '실제로 잡아보니 성공했더라'는 물리적 결과가 기록된 데이터가 필요한데, 바로 이 데이터를 모으는 일이 지금까지 가장 큰 병목이었다.

두 갈래 길, 그리고 막다른 골목

기존에 이런 데이터를 얻는 방법은 크게 둘이었다. 하나는 사람이 직접 로봇 손을 원격으로 조종하는 텔레오퍼레이션이다. 사람이 조종하므로 물리적으로 타당한 결과가 나오지만, 느리고 조종자의 습관이나 편향이 데이터에 그대로 스며든다. 다른 하나는 시뮬레이션으로 후보 파지를 대량 생성하는 방식이다. 값싸고 무한히 확장 가능하지만, 시뮬레이터는 손가락과 물체 사이의 접촉이 현실에서 정말로 유효한지를 보증하지 못한다. 시뮬레이션에서는 멀쩡히 들리던 파지가 실물에서는 미끄러지거나 충돌하는 일이 흔하다.

가장 자연스러운 절충안은 후보 파지를 대량 생성한 뒤 실제 하드웨어에서 하나씩 검증하는 것이다. 그러나 이 방식이 규모를 가지려면 인식부터 실행, 성공·실패 라벨링, 그리고 다음 시도를 위한 물체 리셋까지 수집 루프 전체가 사람의 개입 없이 돌아가야 한다. 사람이 매 시도마다 물체를 제자리에 놓아주어야 한다면 결국 텔레오퍼레이션만큼이나 느려지기 때문이다. AutoDex가 겨냥한 지점이 바로 이 '루프 닫기'다.

가림 속에서도 물체를 찾아내는 눈

AutoDex의 핵심은 사람이 빠진 자리를 시스템이 어떻게 메우느냐에 있다. 다관절 손이 물체를 감싸는 순간 손이 물체 대부분을 가려버리는데, 이런 심한 손-물체 가림 상황에서도 물체의 위치를 정확히 추정해야 한다. 연구진은 20대의 카메라를 동원한 조밀한 다시점 인식으로 이 문제를 풀었다. 여러 각도에서 동시에 관측하므로 한 카메라가 가려져도 다른 카메라가 물체를 포착한다. 실행 단계에서는 충돌을 실시간으로 감시하며 로봇을 움직이고, 들어 올려 일정 시간 유지하는 lift-and-hold 성공 여부로 각 시도를 자동 라벨링한다.

특히 인상적인 부분은 능동적 리셋이다. 시스템은 시도와 시도 사이에 물체를 능동적으로 다시 배치해, 같은 물체라도 여러 안정 자세에서 새로운 후보 파지를 노출시킨다. 사람이 개입하지 않고도 데이터의 다양성을 스스로 확보하는 것이다. 후보를 만들어내는 생성기는 교체 가능한 모듈로 설계되어, 더 나은 파지 생성 알고리즘이 나오면 갈아 끼우기만 하면 된다.

데이터베이스로서의 파지

이렇게 모인 결과물은 단순한 데이터 더미가 아니라, 물리적으로 라벨링된 파지 시도들의 재사용 가능한 데이터베이스다. 하위 시스템은 검색과 실현 가능성 필터링으로 이 데이터베이스에 질의를 던져 원하는 파지를 끌어낼 수 있다. 연구진은 Allegro 손과 Inspire 손, 100개의 다양한 물체에 걸쳐 3,593건의 파지 시도를 수집했고, 동기화된 다시점 관측과 로봇 상태 로그를 함께 기록했다.

숫자가 말하는 효과는 분명하다. 동일하게 500개의 궤적을 모으는 데 AutoDex는 10.3시간이 걸린 반면 텔레오퍼레이션은 49.4시간이 필요해, 약 4.8배의 처리량 향상을 보였다. 더 본질적인 차이는 품질에 있다. AutoDex로 검증된 데이터베이스에서 끌어낸 파지는 76%의 성공률을 보인 반면, 시뮬레이션만으로 검증한 파지는 34%에 그쳤다. 실물에서 검증을 거친 데이터가 곧바로 두 배 이상의 신뢰도로 이어진다는 뜻이다. 능숙한 조작 능력을 데이터 규모의 문제로 환원하려는 흐름 속에서, AutoDex는 '실물 검증을 자동화한다'는 다소 우직한 접근이 시뮬레이션 일변도의 대안보다 훨씬 단단한 토대를 만든다는 점을 실증해 보였다.