스위스 연구진, 가상인간 쉽게 만들 수 있는 새로운 AI 알고리즘 개발

3D 애니메이션 아바타 자동으로 렌더링하는 지능형 알고리즘 개발
인체 내·외부 수많은 지점 연결한 윤곽을 탬플릿 형상으로 스캔 처리
움직이는 포즈에서 템플릿으로 다시 돌아가는 경로 기억하도록 학습
3D 얼굴 모델·인물 사진 컬렉션 조합해 새로운 애니메이션 얼굴 생성

 

스위스 연구진이 가상인간을 쉽게 만들 수 있는 새로운 인공지능(AI) 알고리즘을 개발했다. (사진=셔터스톡)

스위스 연구진이 가상인간을 쉽게 만들 수 있는 새로운 인공지능(AI) 알고리즘을 개발했다. 새로운 AI 기반 접근방식은 과격한 춤과 같이 이전에는 볼 수 없었던 움직임을 수행하는 가상현실을 만들어낼 수 있다. 향후 이 같은 기술은 메타(Meta)·마이크로소프트(MS)와 같은 기업의 메타버스·가상현실(VR)·증강현실(AR) 애플리케이션에도 적용 가능할 것으로 보인다.

 

테크 익스플로어(Tech Xplore)에 따르면 스위스취리히연방공대(ETH Zurich) 연구진은 최근 컴퓨터 비전 분야 국제학회인 'ICCV(International Conference on Computer Vision)'에 발표한 논문에서 애니메이션 아바타를 자동으로 렌더링하는 방법을 학습하는 AI 알고리즘을 개발했다고 밝혔다. 

 

최근 몇 년 동안 AI를 활용해 실제와 같은 가상인간을 만드는 시도는 있었다. 이러한 시도는 복잡한 카메라 시스템을 사용해 사전에 기록된 실제 사람의 3D 스캔을 적용, 다양한 신체 위치를 사실적으로 묘사하는 방법을 배우는 방식이다. 그러나 알려진 동작 레퍼토리 이외의 극단적인 포즈의 경우, 이러한 알고리즘은 관련 데이터를 학습하지 못하고 잘못된 경로를 예측해 오류가 포함된 영상을 만들어낸다. 즉 팔이 신체에서 분리되거나 관절이 잘못된 위치에 있을 수도 있다는 이야기다.

 

기존의 알고리즘을 위해서는 3D 스캐닝에 많은 노력을 기울여야 한다. 다양한 포즈로 훈련해야 하기 때문에 상당한 컴퓨팅 성능이 요구된다. 현재까지 AI 아바타는 특히 대화형 애플리케이션에는 거의 적용되지 않았다. 연구 주저자인 시우 첸(Xu Chen)은 "가능한 전체 동작 레퍼토리를 모두 포착하는 것은 비현실적이다"고 말했다.

 

새로운 AI 기반 접근 방식은 과격한 춤과 같이 이전에 볼 수 없었던 동작을 수행하는 사실적인 가상인간을 만들 수 있다.(사진=ETH Zurich)

 

반면 ETH 연구진의 AI 알고리즘은 인체 내부와 외부의 수많은 지점을 측정하고 연결한 윤곽(contour)을 수학 함수로 정의함으로써 스캔을 처리한다. 이런 식으로 알고리즘은 사람에 대한 템플릿 형상(shape)을 만든다. 아바타를 새 포즈로 이동하기 위해 알고리즘은 움직이는 포즈에서 템플릿으로 다시 돌아가는 경로를 기억하도록 학습한다.

 

모델은 템플릿에서 움직이는 포즈까지의 경로를 계산한다. 이는 계산이 항상 동일한 시작점을 갖는다는 것을 의미하므로 AI 알고리즘이 움직임을 일반화하는 방법을 더 잘 배울 수 있다. 실제로 재주 넘기나 백브릿지와 같은 새로운 동작 패턴도 쉽게 표현할 수 있다. 

 

재주 넘기나 백브릿지와 같은 새로운 동작 패턴도 쉽게 표현할 수 있다. (사진=ETH Zurich)

 

그러나 모델은 아직 전신 아바타를 개인화할 수 없고, 원본 3D 이미지에서 스캔한 사람으로만 제한된다. 대신 연구진은 AI 알고리즘을 사용해 아바타 얼굴을 개인화하고 원하는 대로 변경하는 솔루션을 찾았다. 3D 얼굴 모델과 방대한 인물 사진 컬렉션을 조합해 새로운 애니메이션 얼굴을 만들었다. 정면 얼굴 위주의 애니메이션 얼굴을 제공하는 기존 솔루션과 달리 위와 아래뿐만 아니라 측면에서도 사실적인 얼굴을 표현할 수 있다.

 

새로운 기술이 더 정밀하고 사실적인 딥페이크 비디오를 유포할 우려에 대해 마르셀 뷜러(Marcel Bühler) 연구원은 "딥페이크 비디오는 아직 완벽하지 않다"며 "대부분의 컴퓨터 프로그램이 특정 설정에서만 좋은 결과를 얻을 수 있다"고 설명했다. 예를 들어 새로운 애니메이션 얼굴 모델은 아직 머리카락과 같은 세부 사항을 사실적으로 표현할 수 없다.

 

뷜러는 "누구든지 자세히 들여다보면 여전히 오점을 찾을 수 있다"고 말했다. 이어 "3D 렌더링 기술과 그 취약점에 대한 연구를 공개하면 사이버 보안 전문가가 웹에서 딥페이크 비디오를 더 쉽게 탐지하는 데 도움이 될 수 있다”고 덧붙였다. 대화형 가상현실 애플리케이션의 경우 이러한 ETH 연구진의 성과는 엄청난 발전을 의미한다.  

 

AI타임스 박찬 위원 cpark@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

스위스 연구진, 가상인간 쉽게 만들 수 있는 새로운 AI 알고리즘 개발 - AI타임스