인공지능 이용해 사진을 애니메이션으로 만드는 기술 출시
립싱크 오디오와 사진 슬라이드 쇼로 애니메이션 영상 제작
얼굴과 입을 애니메이션해서 사진을 말하는 비디오로 변환
아바타가 애니메이션이 될 수 있는 메타버스에 적용 기대
오래된 가족 사진을 인공지능(AI)을 이용해 애니메이션으로 만드는 기술이 눈길을 끌고 있다. 이 기술은 사진 속 사람의 얼굴과 입이 움직이는 애니메이션을 만들고 글로 표현한 이야기를 고품질 오디오로 바꿔 결합한다. 몇 장의 사진과 간단한 설명만 있으면 가족의 삶에 대한 이야기를 고해상도의 애니메이션 비디오로 제작할 수 있다.
온라인 가족계보 형성 서비스를 제공하는 마이헤리티지(MyHeritage)는 작년 이맘 때 모든 종류의 사진 속 얼굴 이미지를 애니메이션으로 만드는 '딥 노스텔지아(Deep Nostalgia)’라는 기술을 선모여 소셜 미디어 이용자들을 매료시켰다. 현재까지 1억개 이상의 사진이 이 기술로 애니메이션이 됐다.
이번에 마이헤리티지는 딥 노스텔지아를 확장해 사진 속의 사람들을 생동감있게 움직이게 하고 실제로 말하게 하는 ‘라이브스토리(LiveStoty)’ 기술을 공개했다. 가족이나 조상의 삶에 대한 이야기를 립싱크 오디오와 사진의 슬라이드 쇼로 완성한 애니메이션 비디오를 제작할 수 있게 됐다.
딥 노스텔지아와 마찬가지로 라이브스토리는 얼굴 사진을 애니메이션으로 만드는 AI 기반 재연 기술을 사용한다. 라이브스토리는 오디오를 추가해 이 기술을 더욱 발전시켰다. 한 사람의 삶을 글로 표현한 이야기를 음성-텍스트(Text-To-Speech) 변환 기술을 사용해 고품질 오디오로 변환한다. 그런 다음 최첨단 재연 기술이 립싱크를 시뮬레이션해 사진속의 사람이 얼굴과 입을 움직이며 말을 하는 고해상도 영상을 만든다.
라이브스토리의 애니메이션은 100여 가지 얼굴 움직임을 보여주는 ‘드라이버 비디오(driver video)’ 세트를 사용해 생성된다. 신경망 알고리즘이 업로드한 사진을 분석하고 나면 정지 이미지의 얼굴에 있는 점 집합인 랜드마크가 드라이버 비디오에 매핑돼 움직임을 만든다. 알고리즘은 누락된 세부 정보도 채운다.
합성 음성 생성기는 또한 작성된 사람의 프로필에 대한 정보를 기반으로 내레이션을 생성한다. 입술이 단어와 일치(립싱크)하도록 사람들이 말하는 비디오 데이터베이스에서 신경망을 훈련했다. 또한 다양한 남성 및 여성의 음성 옵션과 함께 31개의 언어, 수십 가지 방언, 수백 가지 음성 페르소나를 지원한다.
애니메이션이 생성되면 사용자는 이를 친구와 공유하거나 소셜 미디어에 게시할 수 있다. 또한 텍스트를 편집하거나 다른 목소리를 선택한 뒤 오디오 녹음을 업로드해 스토리를 추가로 지정할 수도 있다.
장기적으로 라이브스토리 기술은 사람의 디지털 아바타가 애니메이션이 될 수 있는 메타버스 환경에 사용될 수 있다. 사용자가 가족 또는 역사적 인물의 사진을 토대로 얼굴뿐만 아니라 3차원의 전신 움직임을 만들어 업로드한 다음 메타버스에서 애니메이션을 적용해 활성화할 수 있을 것이다.
마이헤리티지의 CEO인 길라드 자펫(Gilad Japhet)은 이 기술과 관련한 설명글에서 “라이브스토리는 스토리텔링을 한 차원 높였다. 이 기술은 비전과 혁신 모두에서 온라인 가족 역사의 세계를 계속 이끌고 있다. AI를 사용하여 역사적인 사진에 새 생명을 불어넣는 것은 독특하며 수백만 명의 사람들이 조상 및 사망한 사랑하는 사람과의 새로운 감정적 유대를 갖도록 돕고 있다. 족보(genealogy)는 우리 가족의 이야기를 전하고 보존하는 것이다. 우리는 족보가 얼마나 재미있고 설득력이 있는지 계속 세상에 보여주고 있다”고 말했다.
AI타임스 박찬 위원 cpark@aitimes.com
Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지
“사진이 말을 하네”...사진을 애니메이션으로 바꾸는 AI 마법 - AI타임스
오래된 가족 사진을 인공지능(AI)을 이용해 애니메이션으로 만드는 기술이 눈길을 끌고 있다. 이 기술은 사진 속 사람의 얼굴과 입이 움직이는 애니메이션을 만들고 글로 표현한 이야기를 고품
www.aitimes.com
'라이프&컬쳐' 카테고리의 다른 글
| 2022년 오스카상, AI가 예측한 승자는? (0) | 2022.03.25 |
|---|---|
| [AI영화] 인간미 있는 AI 로봇 거티...알고리즘과 달리 동료에 희생정신 발휘 (0) | 2022.03.24 |
| 영산강유역 고대문화, 이제는 실감콘텐츠로 만나보자 (0) | 2022.03.10 |
| “입어 보고 주문해요”...월마트, AI 기반 가상 피팅룸 출시 (0) | 2022.03.08 |
| 팝아티스트 앤디 워홀, AI 내레이터로 돌아와 (0) | 2022.02.26 |