AI의 놀라운 복원 기술...중세의 명화가 되살아난다

고해상도로 스캔한 원본과 다른 화가가 그린 복사본 비교해 복원
AI가 이전 작품에 대한 데이터 토대로 훈련, 그림의 색상 추측해
고화질 이미지에 익숙한 현대인들, AI로 사진 복원하는 수요 늘어

 

(출처=셔터스톡)

1885년에 네덜란드 암스테르담에 세워진 리크스 국립박물관(Rijks museum) 은 최근 10년 동안, 3억 7,500만 유로를 들여서 새로운 모습으로 탈바꿈했다.

 

현재 이 박물관에는 네덜란드의 황금시대를 강조하는 조각품, 골동품, 중세 의류와 무기 수집품, 그리고 많이 이용되고 있는 도서관 등이 들어서 있다.

 

더불어 5000점 이상의 그림들이 전시돼있는데 이 중에서도 네덜란드를 대표하는 화가‘렘브란트 반 라인(Rembrandt van Rijn)이 1642년에 완성한 야경(夜警, De Nachtwacht)은 세계적 명화로 인정받고 있다.

 

하지만 이 명화는 완전체의 그림이 아닌 것으로 알려져 있다. 1642년에 그려진 이 그림은 암스테르담 시청의 두 문 사이에 맞도록 1715년에 다듬어졌고 왼쪽 60cm(2ft), 위쪽 22cm, 아래쪽 12cm, 오른쪽 7cm가 제거됐다.

 

그런데 올해 6월 23일 영국의 BBC 뉴스는 렘브란트의 야경 그림의 복원 소식을 전했다.

 

BBC에 따르면, 리크스 박물관은 이를 복원할 결심을 하고 표구 기법 대신에 머신 러닝 기법을 택했다. 박물관 측은 머신 러닝 모델을 학습시키기 위해 두 개의 이미지를 사용했다.

 

첫째는 원본의 고해상도 스캔이었고, 둘째는 런던의 내셔널 갤러리에 전시된 17세기 네덜란드 화가 게리트 룬덴스(Gerrit Lundens)가 그린 야경의 복사본이다.

 

AI는 이 두 개의 사진을 스캔해 원본의 세부사항과 룬덴스의 복사본을 비교해 렘브란트의 화풍과 색상 등의 패턴을 분석했다. 그리고 픽셀 단위로 저장된 데이터를 토대로 훈련한 AI 컴퓨터는 결국 300년 만에 야경의 전체 그림을 복원해내는 데 성공했다.

 

이때 리크스 박물관의 수석 과학자 로베르트 에르드만(Robert Erdmann)은“우리의 시도는 예술가의 손 없이 야경이 어떻게 생겼는지, 추측하는 것이었다”라고 밝혔다.

 

복원된 사진들은 임시 전시회의 일부로 3개월 동안 전시됐고, 박물관 웹사이트에서 지금도 볼 수 있다.

 

이미지 복원 기술(Image Inpainting)은 손상된 예술 작품을 되살리기 위해 시작된 기술로, 현재에는 그림이나 사진의 손상된 부분을 복원하는 등 다양한 용도로 사용된다.

 

특히, 지난 2014년 구글의 브레인 연구 과학자이자, 기술 발명가인 이안 굿펠로우(Ian Goodfellow)가 만든 GAN(적대적 신경 생성망) 기술은 진짜와 구별할 수 없을 정도로 똑같은 사본을 합성해낼 정도로 복원 기술은 빠르게 발전하고 있다.

 

머신러닝으로 불탄 고서화 복원

 

최근에 구글이 인공지능을 사용해 2차 세계대전 동안 불에 탄 고서화를 복원하기 위해 노력하고 있다고 온라인 기술 매체 테크 타임스가 지난 7일 전했다.

 

보도에 따르면, 2차대전의 마지막 몇 달 동안, 독일군이 수집한 약탈품 일부가 오스트리아의 한 성(城)에 보관돼있었는데 그중에는 오스트리아 예술가 구스타프 클림트(Gustav Klimt)의 미확인 예술품들이 대거 포함돼있었다.

 

특히 구스타프의‘교수 회화’(Faculty Paintings) 시리즈는 매우 유명한 작품들이지만, 안타깝게도 이 당시에 대부분 불에 타 사라졌다. 이에 대해 이미 전쟁에 진 독일군이 일부러 화재를 일으켰을지도 모른다는 소문만 전해질뿐이다.

 

그러나 다행스럽게도, 그 그림들의 흑백 사진들이 있었기 때문에 구글은 인공지능 프로젝트를 시작해 그림을 복원하기로 결심했다.

 

이를 위해 구글은 비엔나에 있는 벨베데레(Belvedere) 박물관의 교수진과 협력, 완전한 색상 재현을 위해 머신 러닝 기술을 사용했다.

 

인공지능은 다양한 학문적 연구뿐만 아니라 구스타프 클림트의 이전 작품에 대한 수많은 데이터를 토대로 훈련받고, 그림들이 완전한 색상으로 어떻게 보였을지, 가장 근접한 추측을 해냈다.

 

그 결과, 이미지들은 모든 사람이 볼 수 있는 구글 아츠 & 컬처의 온라인 허브에서 공유됐다.

 

벨베데레 박물관 큐레이터 프란츠 스몰라(Franz Smalla)박사는 이 결과물을 보고, “구글 인공지능 알고리즘이 그것에 대한 정보가 거의 없는 지역에서도 그림들을 색칠할 수 있었다”고 말했다.

 

한편, 구글 전문가들에 따르면, AI가 이렇게 똑같이 재창조할 수 있는 비법은 인공지능 그 자체에 있다. 즉, AI/머신 러닝의 가장 큰 장점 중 하나는 정확히 학습하는 방법이다.

 

시행착오를 거치면서 배우는 인간과 달리, AI는 일정량의 데이터를 공급받아서 학습하고, 인간이 할 수 없는 패턴을 발견해낸다.

 

클림트의 이전 작품들을 보고, 머신 러닝 알고리즘은 그의 패턴에 주목했고, 그의 예술 스타일을 파악해 작품들이 어떻게 색칠됐는지를 추측해 냈을 가능성이 크다고 전문가들은 설명했다.

 

아울러, 이것이 비록 많은 사람을 두렵게 할지라도 우리의 일상생활에서 인공지능을 결코 과소평가될 수 없는 이유라고 전문가들은 주장했다.

 

예를 들면, 질병 진단에 사용되는 산더미 같은 데이터에 묻혀 있는 패턴의 발견은 인공지능이 손실된 것을 복구하는 정말 좋은 사례이며, 인간의 문화를 보존하는 그림이라면 더욱 두말할 나위가 없다는 것이 그들의 지론이다.

 

긁힌 자국 등 100% 자동 제거

 

베테랑 선임 기술 작가 로즈 살리아(Rose Salia)는 AI 앱 특히, 딥페이크 도구에 상당한 관심을 갖고 있는 여성이다.

 

딥 러닝, GPT-3 등을 다루며, 인공지능의 다양한 이야기를 쓰는 그는 지난 7일 탑텐 AI(TopTen.AI)에 올해의 10대 AI 사진 복원 소프트웨어 및 AI 구동 툴을 리뷰하는 기사를 올렸다.

 

살리아는 서두에 “우리 중 많은 사람은 앨범에 오래된 사진들을 가지고 있고, 특히, 추수감사절의 경우, 이 사진들은 달콤한 추억을 떠올리게 한다”고 말했다.

 

하지만, 이 골동품 사진들은 많은 결함을 가지고 있는데 디지털 사진의 한계 때문에, 긁힘, 골절, 심지어 구멍 등도 나있다고 그녀는 지적했다.

 

최근 들어 이런 불완전함은 이 오래된 사진들을 덜 매력적으로 만드는데 현대인들이 너무나 고품질의 선명한 이미지에 익숙해져 있기 때문이라는 것이다.

 

그의 설명에 따르면 갈수록 오래된 사진의 복원 수요가 늘고 있는데 흠집, 골절, 반점 및 기타 많은 결함이 있는 사진을 수리하고, 흑백 사진을 컬러화하는데 인공지능 기술이 사용되고 있다.

 

그 중 몇 가지를 소개하면, 온라인상에서 무료 또는 유료로 제공되는 밴스 AI 사진 복원기(Vance AI Photo Restorer)가 있다. 이 도구는 한 번의 클릭으로 컬러링되지 않은 오래된 사진을 쉽게 복원해낸다. 딥 러닝을 사용해 소중한 이전 사진에서 긁힌 자국, 골절, 얼룩 등을 100% 자동으로 제거할 수 있다.

 

아울러, 이는 색을 선명하게 함으로써 사진 속의 초상화를 더욱 빛나게 한다. 완전한 기능을 갖춘 인공지능 이미지 에디터로서, 밴스 AI는 오래된 사진을 컬러화할 수 있도록 해주는 인공지능 포토 컬러라이저도 제공한다.

 

딥 러닝을 사용해 소중한 옛 사진을 복원하는 마이헤리티지(MyHeritage)는 온라인에서 무료로 제공되며, 디올디파이(DeOldify)의 딥 러닝 기술을 사용해 클릭 한 번으로 오래되고, 흐릿한 사진을 온라인상에 되살려낸다.

 

또 오래된 흐릿한 이미지의 해상도를 높이는데 탁월한 이 도구는 아주 오래된 초상화 사진의 초점을 쉽게 복원할 수 있는 것으로 알려졌다.

 

엔비디아(NVIDIA) 이미지 인페인팅은 오래된 사진 표면의 결함을 제거하는 데 뛰어나다. 이 AI 사진 복원 도구는 딥 러닝과 이미지 복원 기술로 오래된 사진의 빠진 부분을 채우고, 불필요한 부분이나 얼룩을 제거해준다.

 

온라인에서 무료로 제공되는 컬러라이즈(Colorise)는 이전 사진의 색상을 복원하는 데 탁월하다. 고급 알고리즘 덕분에 이전 사진에 실제와 같은 색상을 추가해 복원 및 수정 작업을 한다.

 

그러나 이 도구의 단점은 기능이 제한적이어서, 표면의 흠집이나 결점을 제거하는 대신에 사진 색상 변경에만 사용할 수 있다.

 

마이크로소프트(MS)도 오래된 사진을 되살리는 앱을 출시하고 있다. 파이썬 기반의 이 사진 복원 앱은 거대한 합성 이미지 쌍과 함께 실제 사진을 사용해 새로운 삼중 도메인 변환 네트워크를 구축한다고 그들은 설명했다. 이로써, 고급 기술을 사용해 긁힘, 먼지 얼룩, 소음 및 흐릿함을 수정한다.

 

AI타임스 조행만 객원기자 chohang5@kakao.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

AI의 놀라운 복원 기술...중세의 명화가 되살아난다 - AI타임스