몇장의 사진을 몇 초만에 디지털 3D 장면으로 바꾸는 기술 개발
신경망으로 2D 이미지를 3D 장면으로 렌더링하는 NeRF 활용
텐서 코어를 활용해 모델 교육 및 장면 렌더링을 위한 AI 가속
로봇, 자율주행 자동차, 가상세계, 메타버스, 게임 등 활용 기대
엔비디아(Nvidia)가 몇장의 사진을 몇 초만에 디지털 3D 장면으로 바꾸는 기술을 개발했다. 이 기술은 초고속 신경망과 렌더링을 이용해 다양한 각도에서 촬영한 2D 이미지를 기반으로 사실적인 3D 장면을 거의 즉시 표현하고 렌더링한다.
Instant NeRF(Neural radiance Fields)라 불리는 이 기술은 가장 빠른 NeRF 기술로, 수십 장의 정지 사진과 촬영한 카메라 위치에 대한 데이터를 몇 초만 학습하고 수십 밀리초 이내에 3D 장면으로 렌더링할 수 있다.
NeRF 기술은 신경망을 사용해 2D 이미지의 입력 데이터를 기반으로 사실적인 3D 장면을 표현하고 렌더링한다. NeRF에 입력될 데이터를 수집하는 것은 마치 사진가가 레드카펫의 유명인을 여러 각도에서 사진을 찍는 것과 유사하다. NeRF는 소수의 2D 이미지와 카메라 위치에 구성된 입력 데이터 세트를 이용해 전체 360도 장면의 공백을 채울수 있는 새로운 2D 이미지를 생성하도록 신경망을 훈련한다. 생성된 이미지는 3D 공간의 모든 지점에서 모든 방향으로 방출되는 빛의 색상을 예측한 비트맵 이미지와 같다.
일부 이미지에서는 볼 수 있는 개체가 다른 이미지에서는 기둥과 같은 장애물에 의해 가려지는 폐색(occlusion) 문제도 해결할 수도 있다.
사물의 깊이와 모양을 추정하는 것은 인간에게는 자연스러운 기술이지만 AI에게는 까다로운 작업이다.
기존 방법으로 3D 장면을 만드는 데는 시각화의 복잡성과 해상도에 따라 몇 시간 이상이 걸린다. AI를 그림에 도입하면 작업 속도가 빨라진다. 초기 NeRF 모델은 선명한 장면을 몇 분 안에 렌더링했지만 여전히 훈련하는 데 몇 시간이 걸렸다.
그러나 Instant NeRF는 렌더링 시간을 몇 배나 줄여준다. 주로 모델 학습과 렌더링 속도를 높이는 텐서코어(Tensor Core)를 활용하는 AI 가속 덕분이다. 엔비디아 GPU에서 효율적으로 실행되도록 최적화된 '다중 해상도 해시 그리드 인코딩'이라고 하는 NVIDIA에서 개발한 기술을 이용한다. 새로운 입력 인코딩 방법으로 빠르게 실행되는 작은 신경망을 사용해 고품질의 결과를 얻을 수 있다.
Instant NeRF 기술은 로봇과 자율 차량이 불완전한 데이터에서 실제 물체의 크기와 모양을 이해하도록 훈련하는 데도 사용될 수 있다. 또 건축 및 엔터테인먼트에서 제작자가 수정하고 구축할 수 있는 실제 환경의 디지털 표현을 빠르게 생성하는 데 사용할 수 있다. 게임, 가상현실이나 메타버스 개발자에게 분명히 흥미로울 것이다.
AI타임스 박찬 위원 cpark@aitimes.com
Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지
사진 몇 장으로 3D 장면 연출...엔비디아, 2D를 3D로 초고속 렌더링하는 AI 기술 개발 - AI타임스
엔비디아(Nvidia)가 몇장의 사진을 몇 초만에 디지털 3D 장면으로 바꾸는 기술을 개발했다. 이 기술은 초고속 신경망과 렌더링을 이용해 다양한 각도에서 촬영한 2D 이미지를 기반으로 사실적인 3D
www.aitimes.com
'AI테크' 카테고리의 다른 글
| "AI가 상담 고객 마음까지 읽어낸다" (0) | 2022.03.31 |
|---|---|
| AI 칩 만드는 AI…구글, 딥 러닝으로 더 빠르고 더 작은 AI 칩 설계 (0) | 2022.03.30 |
| 청초한 외모, 수려한 말솜씨…광주 AI 행사에 깜짝 MC로 등장한 여성의 정체는 (0) | 2022.03.29 |
| "눈만 봐도 다 알아" 구글 연구진, 눈 이미지로 당뇨 진단 딥러닝 개발 (0) | 2022.03.29 |
| 유현준 건축가 "메타버스 공간에서도 관계의 철학이 중요" (0) | 2022.03.28 |