지스트 융합기술학제학부 백승혁 박사과정생 인터뷰
사람처럼 새로운 물체부터 가려진 물체까지 알아본다
복잡한 환경서도 인식 가능…세계 최고 수준 성능 보여
택배 물류 등 산업용부터 가정용 로봇에까지 확장 가능
처음 본 물체나 가려진 물체도 척척 알아볼 수 있는 로봇 시각 인공지능(AI) 기술이 최근 광주과학기술원(지스트‧GIST) 연구진의 손에서 탄생했다. 이규빈 지스트 융합기술학제학부 교수 연구팀은 로봇이 학습하지 않은 물체를 눈으로 볼 수 있는 영역은 물론 가려져 보이지 않는 영역까지도 인식해낼 수 있는 딥러닝 기술을 개발했다. 이처럼 획기적인 기술을 개발한 주역은 바로 제1저자로 참여한 백승혁 박사과정생이다. 백승혁 씨를 만나 이번 연구 성과에 대한 이야기를 들어봤다.
"보이는 게 다가 아니다"…사람처럼 가려진 물체까지 알아보는 로봇
인공지능이 인식한 이미지로부터 사람과 물체 등 객체별로 영역을 분류하는 작업을 '인스턴스 분할(Instance Segmentation)'이라 한다. 이와 같은 이미지 인식 기술은 딥러닝과 로봇 비전 연구에 있어 핵심 분야기도 하다. 특히 로봇이 새로운 환경에서 물체를 조작하려면 사전에 학습하지 않은 물체가 주어지더라도 이를 정확히 인지할 필요가 있다. 즉 로봇이 어떤 일을 수행할 때 서로 겹쳐진 물체들을 뭐가 앞에 있고 뒤에 있는지를 유추하고 이해할 수 있어야 한다.
하지만 지금까지는 사전에 학습한 범주의 물체만을 인식할 수 있거나 학습하지 않은 물체의 경우 보이는 부분만 인식할 수 있다는 한계가 있었다. 이에 이규빈 교수 연구팀은 로봇이 미학습 물체의 보이는 가시 영역뿐만 아니라 가려진 비가시 영역까지도 인식할 수 있는 기술을 개발해냈다. 기존 직면한 한계에 대한 실마리를 제공했다는 점에서 이번 연구 성과는 주목할 만하다.
통상 기존의 AI 알고리즘은 사전에 학습한 물체에 국한해 인식하기 마련이다. 이번 연구를 주도한 백승혁 지스트 박사과정생은 "로봇이 물체들을 별도의 학습 없이도 인식하는 것과 미학습 물체들을 복잡한 환경 즉 서로 가리고 있는 상황에서도 인식하는 것 이 두가지가 이번에 개발한 AI 알고리즘의 핵심"이라고 강조했다. 연구팀은 '미학습 물체(Unseen Object)의 아모달(Amodal) 인스턴스 분할'이라는 기법을 통해 물체 간의 가림 관계를 효과적으로 알아내는 '계층적 가림 모델링'을 제안했다.
그럼에도 연구팀이 제안한 알고리즘은 3개 데이터셋에서 세계 최고 수준의 성능을 보여 복잡한 환경에서 로봇 인식 성능을 크게 높였다는 평가다. 해당 연구는 미학습 물체 인식 분야에서 세계 최고 수준을 달성해 삼성휴먼테크논문대상에서 동상 수상의 영예를 안았다. 세계 최고 권위의 로봇학회인 로봇자동화학회(ICRA) 2022에서도 높은 평가를 받아 오는 5월 발표될 예정이다. 백승혁 씨는 이 같이 좋은 연구 성과를 낼 수 있었던 배경에는 이규빈 교수와 동료들의 도움이 있었다며 감사함을 전했다.
이번 연구를 통해 로봇이 복잡하고 다양한 환경에서 새로운 물체와 만나도 보이는 영역뿐만 아니라 다른 물체에 가려진 영역까지 인식할 수 있었음을 확인했다는 게 연구팀의 설명이다. 백승혁 박사과정생은 "특정 데이터셋에서 AI 알고리즘만 다루면 되는 연구가 아니라, 데이터 수집부터 데이터 라벨링, AI 알고리즘 개발, 로봇 조작 등 스케일이 큰 연구였다"며 "시각 AI 기술을 실제 현장에 적용하기 위한 전체 파이프라인을 연구실에서 자체적으로 구축하고 다른 알고리즘과 비교해야 했기 때문에 기술 구현 과정이 쉽지만은 않았다"고 밝혔다.
【인터뷰】 백승혁 지스트 융합기술학제학부 박사과정생(제1저자)
'미학습 물체를 어떻게 하면 잘 인식할 수 있을까'라는 고민에서 출발해 2020년부터 연구를 시작했다. 이후 서울대 팀과 함께 '물품 조립 챌린지'에 참가한 적이 있었다. 처음 본 가구와 조립 설명서가 주어졌을 때 로봇이 얼마나 잘 설명서와 물건을 인식해 조립해내는지를 시험하는 챌린지였다. 당시 내가 맡았던 역할은 로봇이 조립 설명서와 실환경의 물체를 인식하는 기술을 개발하는 것이었다.
AI 알고리즘을 개발할 때마다 힘든 점 가운데 하나가 새로운 문제를 풀 때 인공지능이 자기가 알아서 학습하는 게 아니기 때문에 사람이 일일이 데이터를 라벨링해줘야 하는 과정이다. 그래서 새로운 물체가 주어졌을 때 어떻게 하면 최소한의 데이터 라벨링을 통해 혹은 아예 별도의 라벨링 수행 없이도 AI가 인식할 수 있을까 생각했다. 이 같은 고민에서 미학습 물체를 잘 인식하는 알고리즘을 개발하게 됐다.
여러 가지 알고리즘을 테스트해본 결과 물체가 가려진 상황에서는 잘 인식하지 못한다는 것을 알았다. 그래서 사람은 가려진 물체를 어떻게 잘 인식할 수 있는지에 대해 고민했다. 사람은 기존에 수없이 많은 물체를 보면서 물체의 가려진 부분과 보이는 부분을 잘 구분해 인식할 수 있게 된다는 사실을 깨달았다. 이에 알고리즘도 수많은 시뮬레이션을 통해 엄청나게 많은 물체를 보면 실제 환경에서도 잘 인식할 수 있겠다고 생각했다. 여기에서 영감을 얻어 연구를 시작하게 됐고 다행히 좋은 결과를 낼 수 있었던 것 같다.
기존에는 오로지 학습한 물체에 한해서만 인식이 가능해 새로운 물체를 인식하려면 그때마다 새로운 데이터를 라벨링하고 그에 맞게 새로 학습하는 과정이 필요했었다. 그런데 우리 연구팀은 새로운 물체가 별도의 학습 없이 인식할 수 있는 기반 기술을 개발했다는 점에서 중요한 의미를 갖는다고 생각한다. 또 미학습된 물체를 인식하기 위한 여러 연구가 진행돼 왔지만 그동안은 보이는 영역만 인식이 가능했다. 우리는 새로운 물체더라도 가려진 영역까지 유추해 인식하는 알고리즘을 개발했다. 이 또한 우리 연구의 핵심이다.
하나의 알고리즘으로 다양한 환경에서 인식하는 것이 중요하다고 생각했기 때문에 서로 다른 환경에서 촬영된 데이터셋을 통해 평가를 했다. 책상 위에 물체가 올려진 환경과 산업 현장에서 로봇이 물체를 집는 경우처럼 박스 안에 물체가 담겨진 환경 등 세 가지 다른 환경에서 동일한 알고리즘으로 성능 평가를 수행했고 3개 데이터셋에서 다 좋은 성능을 보였다. 이 같은 측면에서 우리 연구 성과를 높게 평가해주시는 것 같다.
우선 가장 바로 적용될 수 있는 곳은 택배 물류 자동화 시스템이다. 택배 물류는 매우 노동집약적 산업인데 요즘 로봇을 이용한 물류 자동화 시스템이 많이 활용되고 있는 추세다. 로봇으로 물체를 집어 택배 박스 안에 넣고 이를 포장한 다음 컨베이어 벨트 위에 올려야 한다. 이때 택배 박스 안에 어떤 물체가 들어갈지 일일이 다 학습할 수가 없기 때문에 우리 기술을 활용한다면 산업 현장에서 자동화 시스템을 구현하는 데 큰 도움이 될 것으로 보인다. 가장 가까운 시일 내 적용 가능한 사례가 아닐까 생각한다.
또 공장의 산업용 로봇뿐만 아니라 식사 보조 로봇에 적용해 식판에 담겨 있는 새로운 음식을 인식하는 데 활용하는 등 시설이나 가정에서도 광범위하게 사용될 수 있을 것으로 기대한다. 우리가 사용한 데이터셋들을 살펴보면 산업 현장 환경은 물론 실제 사람들이 활동하는 실내 환경에서도 잘 작동하는 것을 확인했다.
로봇이 가려진 물체를 파지(손에 쥠)하는 데에도 활용 가능해 실제 다양한 로봇 작업에 적용될 수도 있다. 요즘 보스턴 다이내믹스 4족 보행 로봇 '스팟(Spot)'의 경우 로봇 팔이 달려 있는 걸 볼 수 있다. 로봇이 물체를 잡는 작업은 잘 수행하고 있는데 좀 더 나아가 어떠한 물체인지 인지하고 물체의 특성에 맞게 조작하는 작업까지 수행하기 위해서는 물체를 인식하는 게 무엇보다 중요하다고 생각한다. 이 같은 물체 인식을 위한 기반 기술로도 활용될 수 있을 것으로 보인다.
우리 연구실에서 자체적으로 해온 과제들만 살펴봐도 로봇이 눈을 감고 뭔가를 조작하는 건 되게 잘한다. 예를 들어 로봇이 막대기를 좁은 구멍 안에 조립하는 작업 등은 잘 해낼 수 있다. 그런데 이 같은 기술이 실제 산업 현장이나 가정에서 이용되지 못하는 이유는 구체적으로 어떤 상황에서 어떤 물체를 어떻게 조작해야 할지 잘 모르기 때문이다. 이 같은 측면에서 로봇이 새로운 환경에서 새로운 물체를 인식하는 일은 필수적이라 할 수 있다.
현재 기술로서는 로봇이 이미지 단위에서의 물체 위치만을 인식한다. 그 다음 단계로 나아가 정확한 자세를 파악해 어떻게 주어진 새로운 물체를 집어 안정적으로 평면에 놓을 수 있을지 등에 대한 연구들을 진행하고 있다. 또 카메라로 물체를 볼 때 딱 한 프레임에서만 인식하고 판단한다. 사실 사람은 물체를 볼 때 복잡하게 놓여있을 경우 이렇게 저렇게 다가가 보기도 하지만, 어쨌든 가장 확실한 방법은 앞의 물체를 치워 뒤에 있는 것을 제대로 확인하는 것이다. 이를 '인터렉티브 퍼셉션(Interactive Perception)'이라고 하는데 이러한 연구가 필요하다고 생각한다.
우선 이번에 개발한 기술의 인식 성능을 더욱 향상시키는 연구를 진행할 계획이다. 앞서 이야기했듯이 현재는 물체 인식을 위해 단일 프레임만 쓰고 있는데 앞으로 여러 개의 비디오를 통해 인식을 더 잘할 수 있도록 하는 연구에 집중하려 한다. 또 인식된 새로운 물체를 잘 집어 어떻게 조작할 것인지에 대한 연구도 수행하고 있다. 다양한 새로운 환경에서 로봇이 물체를 직접 치워본다든지 더 가까이 다가가 본다든지 등에 관한 인터렉티브 퍼셉션 연구를 지속적으로 해나가려 한다.
기존에는 주어진 연구과제를 해오다가 박사과정을 들으며 이번에 처음으로 스스로 재밌고 가슴 뛰는 연구, 사회에 도움이 되는 가치 있는 연구를 해보자는 생각을 했다. 지난 1년간 같은 주제를 가지고 열심히 달려왔다. 사실 연구라는 게 가설을 세우고 이 가설이 틀렸는지 맞았는지 증명하는 과정이라 계속 수정을 거듭하다 보니 지칠 때도 있었다. 하지만 이규빈 교수님의 지도 덕분에 무사히 잘 연구를 수행할 수 있었다.
이번에는 미학습 물체를 인식하는 기술에 관한 연구였지만 궁극적으로는 미학습 물체를 인식하는 것뿐만 아니라 물체를 잘 조작하는 것까지 전체 프레임워크를 만드는 것을 목표로 하고 있다. 지금 하고 있는 연구가 다양한 확장 가능성을 지녔기 때문에 이 가운데 어떤 연구에 집중할까 고민하고 있다. 이번 연구를 계기로 교수님처럼 훌륭한 연구자가 되는 것이 꿈이다.
개인적으로는 기술 자체가 학문적으로도 새롭고 흥미로워야 하지만 결국 사회에서 필요로 하는 기술을 개발해야 한다고 생각한다. 그래서 진행하고 있는 로봇 기술이 우리 일상에서 사람들에게 새로운 팔과 다리가 되어주는 등 삶의 가치를 높이는 데 도움이 됐으면 한다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지
[인터뷰] "사회에 도움되는 로봇 시각 AI 기술 개발이 목표" - AI타임스
처음 본 물체나 가려진 물체도 척척 알아볼 수 있는 로봇 시각 인공지능(AI) 기술이 최근 광주과학기술원(지스트‧GIST) 연구진의 손에서 탄생했다. 이규빈 지스트 융합기술학제학부 교수 연구팀
www.aitimes.com
'AI피플&인터뷰' 카테고리의 다른 글
| “AI가 완벽 핏감 살리는 강아지 옷 사이즈까지 척척”…반려견 의류 플랫폼 ‘얼리어펫터’ (0) | 2022.01.19 |
|---|---|
| “인재 육성, 창업, 스케일업까지 AI‧모빌리티 분야 플랫폼 역할 톡톡히 할 것”…하상용 광주창조경제혁신센터장 인터뷰 (0) | 2021.08.23 |