"사람 형체 정확히 골라 생명 불어넣어"...메타, 아동용 애니메이션 SW 소개

인간과 비슷한 신체, 포즈 정확히 오려내
'Mask R-CNN'로 객체 분류하지만 한계 있어
알파포즈로 한계 극복, 실제 인간 포즈로 데이터 훈련해 와
"독창적 이미지 인식할 수 있는 AI 개발로 의미 있어"

 

인간 형체와 조금만 닮아도 자동으로 인식해서 움직이게 만드는 알고리즘 프로그램. (출처=메타 플랫폼 블로그)

 

학생들에게 미술 시간이 더 즐거워질 것으로 전망된다. 사람이 그린 그림을 움직이는 형태로 제작하는 인공지능(AI) 프로그램이 출현하면서다.

 

메타 플랫폼(이하 메타)은 최근 아이가 그린 사람 형체를 자동으로 애니메이션화하는 알고리즘 기술을 공식 블로그를 통해 공개했다. 가위가 종이 자르듯 인간 신체, 포즈만 정확히 오려서 생명을 불어넣는 방식이다.

 

메타가 소개한 소프트웨어(SW)는 사람뿐 아니라 사람과 비슷한 형태만 갖춰도 알아챌 수 있다. 다른 객체와 구분해 애니메이션으로 만든다.

 

과정은 간단하다. 아이가 그린 그림을 올리면 자동으로 사람 형체에 해당하는 부분만 박스로 표시된다. 이를 그대로 오려내 뼈대를 만든다. 뼈대가 생기면 자동으로 움직인다. 인간 형체와 비슷할수록 움직임을 다양하게 설정할 수 있다.

 

이미지 인식하기

---

다양한 인간 형체를 자동으로 인식해 정확히 추출하는 SW. (출처=메타 플랫폼 블로그)

해당 SW는 사람 형체를 자동으로 인식해 해당 부분만 추출한다. 그림에서 배경이나 다른 물체는 피하고 오직 사람과 관련된 형체만 골라내는 방식이다. 메타 연구진은 “‘바운딩 박스(bounding boxes)’를 통해 가능하다”고 설명했다. 바운딩 박스란, 사진이나 그림에서 물체를 감지한 구역을 말한다. 감지한 물체 테두리라고 보면 된다.

 

메타 연구진은 AI가 만든 컨볼루션 신경망에 기반한 객체 감지 모델 ‘Mask R-CNN’로 사람 형체를 인식했다. 그림이 아닌 실제 사진으로 훈련한 모델이라 인식 정확도가 높다. 공적으로 사용 가능한 분할 데이터셋으로 훈련해 신뢰도도 높은 편이다.

 

Mask R-CNN을 아이 그림에 적용할 때는 미세한 모델 훈련까지 마쳐야 한다. 아이 그림은 늘 독창적이기 때문이다. 이때 사용하는 게 ResNet-50+FPN다. 이를 통해 단일 클래스인 ‘인간 형체'를 정확히 예측할 수 있다. 연구진은 지금까지 약 1000개의 그림으로 ResNet-50+FPN을 훈련한 바 있다.

 

마스킹해서 도려내기

---

인간 형태나 인간과 비슷한 형태 이미지를 인식하면 '마스킹(masking)'을 진행한다. 즉, 사람 형체를 다른 부분과 배경으로부터 완전히 분리하는 방식이다. 윤곽을 만들 때는 바운딩 박스가 미세하게 조정돼야 한다. 다시 말해, 도려내고자 하는 형체를 정확하게 윤곽화하기 위해 미세한 모델 작업이 필요하다. 

 

Mask R-CNN은 윤곽을 자동으로 출력할 수 있지만, 이를 움직이는 작업까지 끌고가기에는 부족하다. 아이들은 사람 그림을 추상적이거나 비현실적으로 그리기 때문이다. 예를 들어, 몸통을 역삼각형으로 그리거나 지나치게 얇은 연필심으로 팔을 그리면 인식할 수 없다. 또 몸통을 중간에 색칠하지 않으면 해당 부분은 Mask R-CNN으로 처리할 수 없다.

 

기자가 그림 인간 형체를 정확히 '바운딩 박스'하고 '마스킹' 한 모습. (사진=김미정 기자/편집=조희연 기자)

기자도 직접 체험해 봤다. 아이가 그린 듯 인간 형체를 그려봤다. 목, 손가락, 발가락 모두 뭉툭하게 그렸다. 메타 알고리즘 SW은 해당 그림도 사람으로 인식해 작동했다. 바운딩 박스도 빗나가지 않았으며 뼈대도 정확히 채워줬다.

 

생명력 불어넣기

---

마지막으로 연구진은 '알파포즈(AlphaPose)'로 그림에 생명력을 넣는다. 미세한 인간 포즈를 감지하기 위해 만든 알고리즘 모델이다. 엉덩이, 어깨, 팔꿈치, 팔목 등을 세세하게 인식한다. 연구진은 “알파포즈는 실제 사람 이미지로 훈련했다"며 “어린이가 그린 독창적인 인간 신체를 인식하는 데 도움될 것"이라고 말했다. 

 

이어 "현재 인간 형체를 그린 아이들 그림을 적은 데이터셋으로 모은 상태"라며 "부모가 자녀 그림을 업로드해서 더 많은 데이터가 들어오면 훨씬 수준 높은 정확도로 도달할 수 있다"고 설명했다.

 

기자가 그린 그림이 마스킹 과정을 마친 후 움직이는 장면. (영상=김미정 기자)

모든 과정이 끝나면 3D 모션 캡처로 2D 그림을 움직이게 할 수 있다. 인간 형체 예측 신뢰도에 따라 모션도 다양하게 선택 가능하다. 예를 들어, 팔과 다리가 모두 정확히 예측된 경우 애니메이션 움직임이 좀 더 활발하다. 다리가 없으면 관절 신뢰 값이 낮아져 사용자에게 예측을 수정하도록 요청할 수 있다.

 

메타 연구진은 "저장된 데이터로만 인식할 수 있는 AI는 제멋대로 그리는 아이 그림을 인식할 수 없다"며 "해당 알고리즘은 이미지 인식, 마스킹으로 애니메이션화할 수 있어 의미있다"고 강조했다.

 

AI타임스 김미정 기자 kimj7521@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

"사람 형체 정확히 골라 생명 불어넣어"...메타, 아동용 애니메이션 SW 소개 - AI타임스