인간 행동 모방하는 로봇 기술, '이 기술' 쓰면 정교화 '쑥' 올라

인간 행동 모방하는 로봇 개발 한창...모방 정교화 그리 높지 않아
구글 연구진, "명시적 모델을 암시적 모델로 바꾸면 더 정교해져"
암시적 BC, 명시적 BC가 가진 한계 보완

 

(출처=셔터스톡)

인간 행동 모방 로봇은 예전보다 자주 볼 수 있다. 국내에서는 제이엠로보틱스가 비전 기술로 인간 바리스타 라떼아트를 70초 만에 따라 하는 로봇을 출시했다. 영국 BBC는 맥주를 정량으로 따라 서빙하는 로봇을 15일(현지시각) 소개한 바 있다.

 

그러나 인간만큼 정교하게 하기엔 모자라다. 로봇 에이전트가 사람처럼 복잡한 행동을 똑같이 흉내내기엔 여전히 어렵다는 말이다. 예를 들어, 모방 도중 작은 변수가 생겼을 때 로봇은 계획 전체를 재빠르게 수정해 극복할 수 있어야 한다. 사람은 쉽게 바꿀 수 있지만 티끌 하나까지 계획에 맞춰 진행하는 로봇은 곤혹스럽다.

 

구글 연구진은 행동을 모방할 때 '명시적 방법(Explicit Behaviorial Cloning)을 암시적(Implicit) 방책으로 바꾸면 로봇 결정력(Decisiveness)이 좋아져서 훨씬 더 복잡한 행동을 정확하게 따라 할 수 있다는 결과를 18일 구글 블로그에서 소개했다. 

명시적(Explicit BC)모델과 암시적(Implicit BC)모델

 

(왼쪽)명시적 모델은 단순히 관찰만 출력하고 (오른쪽)암시적 모델은 관찰과 행동 모두 출력한다. 

지금까지 로봇 행동 모방은 명시적 신경망 훈련으로만 진행됐다. 이는 전문가 움직임을 관찰해서 행동을 출력한다. 즉 모방 대상의 행동을 있는 그대로 출력만 하는 방식이다.

 

반면, ‘암시적 모델’은 관찰만 하는 방식에 하나를 더 추가했다. 신경망이 관찰과 행동 모두 ‘받아들이도록(accept)’ 훈련하는 모델이다. 의외로 로봇이 행동 모방을 익히는데 가장 간단한 방식이라고 연구진들은 강조했다. 

암시적 방법론이 모방 기술에 좋은 점은

 

(왼쪽)암시적 모델은 연속적인 행위를 통해 블록을 슬롯에 금방 넣지만 (오른쪽)변수에 약한 명시적 모델은 연속적인 행위 능력이 부족해 헤매고 있다. (출처=Google AI blog)

연구진은 로봇이 블록을 슬롯 안에 밀어 넣는 실험을 진행했다. 암시적 BC 모델을 훈련하기 위해 연구진은 ‘InfoNCE 손실 함수’로 연구했다.

 

InfoNCE 손실 함수는 데이터 세트에서 전문가 작업에 대해 낮은 에너지를 출력하고, 나머지 작업에 대해서는 높은 에너지를 출력하도록 훈련하는 기술이다. 

 

연구에 따르면, 명시적 모델과 달리 암시적 모델은 블록을 제자리에 밀어 넣기 전에 정밀한 움직임을 여러번 시도했다. 다양한 변수에 미리 적응하기 위해서다. 로봇 작업에서 암시적 행동 복제가 더 정밀하고 정확하다는 의미다. 특히 암시BC 모델이 명시BC 모델에 비해 물체를 1mm 이동시킨 후 슬롯에 넣는 작업에서는 10배 더 나은 결과를 보였다.

 

해당 모델은 전문가 행동에는 낮고 비전문가 행동에는 높은 단일 숫자를 출력함으로써 행동 복제를 ‘에너지 기반 모델링’으로도 바꿀 수 있다. InfoNCE 손실 함수로 훈련했기 때문이다. 암시적 행동 방식은 지정된 관찰에 대해 점수가 가장 낮은 입력값을 찾아 행동한다. 전문가 행동일수록 입력값이 낮다. 전문가 행위를 최우선으로 두고 모방할 때 활용하는 방식이다.

 

시뮬레이션뿐만 아니라 실제 실험에서도 결과는 동일했다. 연구진이 슬롯 안에 있는 물체를 다른 장소에 두는 '방해 작전'을 펼쳐도 암시적 모델은 연구진 손을 이리저리 피하면서 물체를 제자리에 넣는데 성공했다.

 

불연속 함수 최적화 장면. 빨간 줄은 불연속 구역을 보여준다. (위) 암시적 모델과 달리 (아래)명시적 모델은 불연속성 부분에 연속 함수를 늘 삽입해야 작동한다는 점을 보여준다. 즉 암시적 모델이 불연속적인 변수에 잘 대처한다는 의미다.

마지막으로 암시적 모델(implicit BC)은 명시적 모델이 갖고 있던 단점을 보완한다. 명시적 모델은 불연속성을 정확하게 모델링하는데 한계가 있었다. 갑작스러운 '행동 전환'이 어려웠다는 말이다. 암시적 모델을 통해 명시적 방법의 한계점인 행동 전환을 극복할 수 있다고 연구진들은 강조했다.

 

AI타임스 김미정 기자 kimj7521@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

인간 행동 모방하는 로봇 기술, '이 기술' 쓰면 정교화 '쑥' 올라 - AI타임스