[삼성 AI 포럼 2021]요슈아 벤지오 "초거대 AI 모델에 빠진 것 두 가지, 추론과 경험“

딥러닝 창시자 요슈아 벤지오, ‘삼성 AI 포럼 2021’서 발표
다목적 단일 거대 인공신경망 개발에 대해서는 부정적인 입장
아날로그 뉴로모픽 프로세서 가능성 주목...생성흐름네트워크 GFlowNet 소개

 

요슈아 벤지오 교수(사진=요슈아 벤지오 교수 개인 홈페이지)

캐나다 몬트리올대 요슈아 벤지오(Joshua Benjio) 교수가 초거대 인공지능(AI) 언어모델 결함 두 가지로 ‘추론’과 ‘경험’을 꼽았다. 딥러닝 창시자이자 인공지능(AI) 연구계 4대 천황 중 하나인 벤지오 교수의 발언인 만큼 주목할 만하다.

 

요슈아 벤지오 교수는 1일 열린 ‘삼성 AI 포럼 2021’에 기조연설자와 패널토론자로 참석해 차세대 AI 기술에 대한 관점을 제시했다. 그는 ‘삼성 AI 포럼’의 공동 의장이자 삼성 AI 교수(Samsung AI Professor)로서 삼성과 인연이 깊다.

 

이날 행사에서 벤지오 교수는 최근 전세계 AI 연구·산업계에서 주목하는 초거대 언어모델의 한계점을 제시했다.

 

그는 “GPT 계열 (초거대 언어)모델의 현재 레시피에는 재료가 많이 빠져있다고 생각한다”고 말했다.

 

이어 “거대 언어모델에서 빠진 요소 중 하나는 추론이다. 이는 체계적인 분석으로 인한 지식이 표현되는 방식이다. 매우 유연한 방법으로 지식 조각들을 즉석에서 재조합할 수 있게 해준다. 동시에 세상에서의 인과 구조를 반영하는 방식이기도 하다”고 설명했다.

 

벤지오 교수가 지적한 초거대 언어모델의 두 번째 결함은 경험이다. 그는 “(초거대 언어모델들)그들은 세상을 경험하지 못하고 텍스트만 본다. 물론 텍스트와 이미지를 결합하는 것이 첫 번째 단계이고 영상의 경우 훨씬 나을 수 있다. 하지만 환경과 상호작용할 수 있는 시스템이 훨씬 좋을 것”이라고 지적했다.

 

초거대 언어모델 한계를 극복할 방법으로 요슈아 벤지오 교수는 인간 뇌 작동 방식을 참고할 것을 제안했다.

 

그는 “(우리 연구팀에서도) 인간이 지식을 구성하는 방법, 어떻게 어텐션(attention) 매커니즘을 사용해 즉석으로 지식을 조작했는지를 차세대 딥러닝 구축에 참고했다”고 전했다.
 

◆단일 거대 인경신공망 전망은 글쎄...아날로그 뉴로모픽 프로세서에 주목

 

단일 거대 인공신경망이 계속해서 다양한 기능을 수행하도록 개발하는 방향에 대해서는 부정적인 입장을 비췄다.

 

요슈아 벤지오 교수는 "나는 인간의 뇌가 거대한 단일체라고 생각하지 않는다. 뇌에는 전문가 모듈과 같은 특정 작업에 특화된 영역이 있다. 이 모듈들은 뇌의 다른 모든 부분에 연결되지 않는다“고 강조했다.

 

그러면서 “이는 샘플 복잡성을 줄이는 문제와 관련이 있다. 특정 성능을 얻으려면 얼마나 많은 샘플 사례가 필요하겠나. 기계의 경우 인간이 무언가를 배우는데 필요한 것보다 훨씬 더 복잡한 샘플을 요구하는데 이것이 과제가 될 것”이라고 전했다.

 

아날로그 뉴로모픽 프로세서에 대해서는 긍정적인 전망을 제시했다.

 

벤지오 교수는 “전력, 공간 등의 측면에서 아날로그 방식으로 효율성을 높일 수 있는 엄청난 잠재력이 있다고 생각한다.

사람들은 수십년 동안 이 가능성에 관심을 가져왔다. 90년대 초 벨연구소에서 관련 실험을 하던 일이 생각난다. 나는 이것을 계속할 가치가 있다고 본다”고 말했다.

 

그는 “아시다시피 아날로그 방식은 우리의 디지털 회로에 일반적으로 존재하는 에너지 측면에서 매우 비싼 이산화(discretization)를 피했다. 또한 몇몇 기업은 아날로그 하드웨어 설계를 탐구하기 시작했다”고 덧붙였다.

 

AI 분야 젊은 연구원들과 학생들에게 보내는 조언으로 요슈아 벤지오 교수는 새로운 영역을 개척하는 것을 두려워하지 말 것을 강조했다.

 

벤지오 교수는 “최첨단 기술로 확립된 방향과 아주 다른 방향으로 가는 것을 두려워하지 말고 기존에 밝혀지지 않은 영역을 탐험하는 것을 두려워하지 말았으면 좋겠다. 충분한 컴퓨팅 자원이 없을 순 있겠지만 당신에게는 브레인 파워가 있다. 브레인 파워야말로 혁신과 과학이 가져온 놀라운 발전을 이룬 근간”이라고 강조했다.

 

발표 중인 요슈아 벤지오 교수(사진=행사 캡처)

한편, 이날 요슈아 벤지오 교수는 기조강연에서 과학 연구에 특화된 머신러닝(ML) 툴이자 생성 흐름 네트워크(generative flow network) GFlowNet을 소개했다. 해당 강연에서 벤지오 교수는 물리, 화학, 바이오 등 순수 과학기술 분야에도 적용되고 있는 최근 AI 알고리즘과 새로운 소재 발굴을 위한 분자 구조 생성 알고리즘을 소개했다.

자세한 내용은 삼성 유튜브에서 확인할 수 있다.

 

AI타임스 박성은 기자 sage@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

[삼성 AI 포럼 2021]요슈아 벤지오 "초거대 AI 모델에 빠진 것 두 가지, 추론과 경험“ - AI타임스