“로봇·메타버스에서 미세한 손동작 활용 가능해진다”...서울대 이동준 교수팀 연구 성과

서울대 기계공학부 이동준 교수 연구팀, 손동작 추적기술 VIST 개발
로봇·메타버스·스마트공장·재활 등 다양한 산업 현장서 필요
기존 기술 한계 한 번에 해결...가격·무게·내구성도 개선

 

미니인터뷰(Mini Interview)

Q. 이번에 개발한 VIST 기술은 기존 손동작 추적기술에 비해 어떤 차별점이 있나? 기존 손동작 추적 기술인 ①컴퓨터비전 기반 카메라 방식과 ②관성센서·지자기센서 활용 방식 두 가지를 함께 사용해 시너지 효과를 내는 기술이다. 카메라 방법에서는 시야가 가려지는 부분이나 미세한 움직임을 측정하기 어려운데 관성센서를 사용해 이러한 문제를 해결했다. 지자기센서 방법으로는 사용자가 드릴, 스마트폰과 같은 기기를 만질 시 전류가 흘러 휘어질 수 있다. VIST는 지자기센서 대신 카메라를 관성센서와 함께 사용해 해당 문제를 극복했다. 말랑한 재질로 손상이 쉬운 소프트센서와 달리 내구성이 있어 세탁도 가능하다. Q. 손동작 추적에서 강건성과 정확도를 높였다고 했다. 자세히 설명하자면? 기존 카메라 방식에서 3~4cm 오차를 보였다면 VIST 기술 오차 범위는 1cm 이내다. AR 체험을 한다고 가정했을 때 손 끝에 가상물질이 와닿는 범위가 1cm 떨어진 것과 3cm 떨어진 것은 완전히 느낌이 다르다. 강건성을 높였다는 말은 어떤 상황, 어떤 작업에 쓰든 원래대로 성능을 발휘할 수 있다는 의미다. Q. VIST 기술 상용화는 언제쯤 이뤄질 수 있을까? 우리 기술 상용화를 원하는 회사가 있다고 가정했을 때 2년 정도면 충분하고 1년도 가능할 거라도 본다. 상용화에 중요한 강건성을 확보했으며 재료비도 저렴하기 때문이다. 장갑 재료비 전체가 10만원이 안 되는데 날염 작업이 들어가면 가격이 더 낮아질 수 있다. 알고리즘 계산량이 적은 만큼 저가의 칩으로도 충분히 구현할 수 있다. Q. 현재 많이 쓰이는 메타버스 인터페이스가 있나? 국내에서 실제로 많은 사람들이 쓰는 메타버스 인터페이스는 사실상 없는 상황이다. 예를 들어 제페토에서 빵을 잡을 때 실제 손 움직임이 아닌 클릭 방식을 사용한다. 차세대 메타버스를 위해서는 손가락 트래킹 기술이 필요하다. Q. 장비를 사용해야 하는 불편은 대표적인 메타버스 기술 한계다. 장비를 간소화할 방법은 없을까? 목적에 따라 다르다. 현재 우리 기술에서는 손 전체 움직임을 다루는데 손가락 끝만 트래킹할 경우에는 좀 더 간단하게 만들 수 있다. Q. 앞으로의 연구 계획이 궁금하다. 우선 VIST 기술 성능을 전반적으로 높이는 작업을 할 계획이다. 다른 연구 주제로 메타버스 공간에서 물건을 잡거나 사람을 터치하는 느낌을 내기 위해 햅틱 디바이스를 통합하는 기술을 개발 중이다. 이 기술로 촉각 획득 피드백을 주면 트래킹이 떨어지더라도 사용자가 촉각을 느낄 수 있다. 이외 얇은 로봇팔이나 문어 같은 형태의 소프트로봇을 모듈화해서 누구나 사용하기 쉽게 만드는 작업을 진행하고 있다.    김동준 서울대 교수

(사진=셔터스톡)

서울대 공대(학장 이병호)는 기계공학부 이동준 교수 연구팀이 차세대 손동작 추적기술 VIST(visual-inertial skeleton tracking)를 개발했다고 30일 밝혔다.

 

해당 기술은 로봇이나 사용자 인터페이스에서 손과 손가락 움직임까지 활용할 가능성을 제시한다.

 

로봇뿐만 아니라 메타버스 기술로 최근 주목받는 가상·증강현실, 디지털트윈 활용법을 모색 중인 스마트공장, 재활까지 신체 움직임 구현이 중요한 다양한 산업 분야에 적용 가능하다.

 

VIST 연구 내용을 담은 논문은 이러한 성과를 인정받아 국제 저널인 '사이언스 로보틱스(Science Robotics)’에 9월 29일 자로 게재됐다.

 

(왼쪽부터)서울대 기계공학부 이용석 박사((현) 삼성리서치), 도원경 연구원((현) Stanford대), 윤한별 연구원((현) UCLA), 허진욱 연구원, 이원하 연구원((현) 삼성전자), 이동준 교수(사진=서울대)

VIST 기술은 7개의 관성센서와 날염이 가능한 37개 마커가 장착된 장갑과 머리에 쓴 카메라의 정보를 상보적으로 융합해 손과 손가락 동작을 추적하는 기술이다.

 

현재 로봇제어나 가상현실 분야에서 사용 중인 사용자 인터페이스에서는 태블릿 평면 위의 움직임만을 제어할 수 있거나 컨트롤러를 움켜쥐고 주먹으로 아바타를 제어하는 방법을 사용한다. 3차원 공간에서 움직이는 손과 손가락 움직임을 활용할 수 없다는 것.

 

손과 손가락 움직임을 구현하기 위한 기존 기술은 ▲카메라와 인공지능(AI)을 이용한 영상기반 손동작 추적기술 ▲관성센서(Inertial measurement unit)와 지자기센서로 손가락 각도를 측정해 손동작을 추적하는 기술 ▲소프트 웨어러블 센서의 변형을 측정해 손동작을 추정하는 기술 3가지가 대표적이다.

 

이 기술들은 각각 영상가림, 자기교란, 물체·환경과의 접촉에 의한 신호교란이라는 근본적인 문제를 지니고 있어 그간 산업 현장에 실제로 적용하기 어려웠다.

 

VIST 기술은 기존 기술 문제들을 모두 극복한다는 데서 차별점을 보인다. 물체 조작 시 빈번하게 나타나는 영상가림, 전자장비·철구조물 근처에서 발생하는 지자기교란, 가위·전동드릴·촉각장비 착용에 따른 접촉 문제에도 불구하고 강건하고 정확하게 손과 손가락 동작을 추적할 수 있다.

 

손동작 추적 VIST 시스템과 동작 개념도​(사진=서울대)

연구팀은 “특히 작은 손바닥 위에서 많은 손가락이 빠르고 복잡하게 움직이는 손동작에서는 카메라가 마커를 놓쳐서 추적을 실패할 가능성이 굉장히 높다”고 설명했다.

 

이어 “관성센서를 통해 카메라의 마커 추적 성능을 높이고, 이와 동시에 카메라 정보를 활용해 관성센서 정보의 발산을 교정함으로써 손동작 추적의 강건성과 정확도를 동시에 달성했다”며 연구 성과를 강조했다.

 

영상관성센서 강결합융합(tightly-coupled fusion) 기반 다수 골격체(skeleton)를 추적하는 기술이 VIST의 핵심기술이다.

성능 뿐만 아니라 상용화에 필요한 조건들도 갖췄다. 먼저 제품 무게가 55g으로 기존 제품보다 가볍다. 가격도 재료비 기준 100달러(한화 약 12만원)로 저렴한 편이다. 세탁이 가능할 정도로 내구성도 높다.

손동작 추적 VIST기술 활용 예시: 원격제어, 협동로봇, 군집제어, 가상·증강현실(사진=서울대)

연구책임자인 이동준 서울대 교수는 “이번에 개발한 VIST 손동작 추적기술은 로봇손이나 협동로봇, 군집로봇을 손과 손가락을 사용해 직관적이고 효율적으로 제어하게 해줄 것”이라고 말했다.

 

그는 “가상현실, 증강현실, 메타버스 등에서도 자연스러운 상호작용을 가능하게 해줄 것으로 기대된다”고 전했다.

한편, 본 연구는 과학기술정보통신부 기초연구사업과 한국연구재단 선도연구센터 지원을 받아 수행됐다.

 

AI타임스 박성은 기자 sage@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

“로봇·메타버스에서 미세한 손동작 활용 가능해진다”...서울대 이동준 교수팀 연구 성과 - AI