카카오, 공동연구팀과 자사 초거대 AI 'KoGPT' 후속 연구 계획 공개

카카오 기술 컨퍼런스 ‘if (kakao) 2021’ 발표 내용
“GPT-3 등장했을 때부터 초거대 AI 로드맵 그렸다”
카카오가 강한 비디오 연구, 개인정보·저작권 보호 역량 발휘할 것

 

(출처=행사 캡처)

카카오가 자사 초거대 인공지능(AI) 'KoGPT'에 대한 후속 연구 계획을 공개했다.

 

지난 10월 구성한 7명 교수와의 공동 연구팀과 함께 카카오는 자연어 이외 비디오를 함께 다루면서 생성, 추론 문제를 풀 예정이다. 효율적인 AI 학습을 가능하게 하는 시스템 아키텍처도 개발한다.

 

대규모 데이터를 다루는 초거대 AI에서 중요한 개인정보 침해, 편향성 문제를 예방하는 일에도 힘쓴다.

 

카카오(공동대표 여민수, 조수용)는 17일 자체 기술 컨퍼런스 ‘if (kakao) 2021’에서 KoGPT 개선을 위한 공동연구 방향을 소개했다.

 

카카오의 공동 연구팀 멤버 중 하나인 김은솔 한양대 컴퓨터소프트웨어학부 교수는 이날 행사에서 “GPT-3와 같은 라지 스케일(large scale) 모델이 비디오에서 가능하도록 하는 표현학습(Representation Learning) 연구를 할 계획”이라고 밝혔다.

 

해당 기술을 기반으로 기존의 비디오 분야 연구자들이 푸는 인식 문제를 넘어서는 생성, 추론 문제를 풀겠다는 것.

 

김은솔 교수는 “이 문제를 자연어 연구와 결합해 자연어와 이미지 혹은 비디오가 같이 돌아가는 시스템을 만들 것이다.

효율적인 AI 학습을 가능하게 하는 시스템적인 아키텍처 연구도 진행할 예정”이라고 전했다.

 

카카오가 이와 같은 초거대 AI 개발 로드맵을 그린 것은 GPT-3가 처음 등장했을 때부터다. GPT-3 성과에 놀라움을 느낀 동시에 카카오만이 할 수 있는 연구를 구상했다는 설명이다.

 

김 교수는 “더이상 우리가 연구를 할 수 있는 게 없다는 느낌이 아니라 오히려 (GPT-3의) 한계를 많이 볼 수 있었다. 사람이 가지고 있는 상식이나 이전에 있던 문맥(context)을 잘못 보는 것과 같은 한계가 있었다. 할 수 있는 것들이 많겠다는 생각에 희망적인 얘기를 많이 했다”고 말했다.

 

이어 “우리는 사람을 모방해 사람과 같은 수준의 추론을 하는 머신러닝(ML)을 개발하자는 것이 목표였고 이 방향이 맞다고 확신했다. GPT-3가 못하는 사람 수준의 추론(reasoning)이나 질문응답(QA)을 푸는 쪽으로 방향을 잡자고 얘기했다”고 전했다.

 

언어모델과 비디오 기술을 결합하는 아이디어도 해당 시기부터 기획했다는 주장이다.

 

김은솔 교수는 “기존에 비디오를 많이 다루고 있었던 만큼 이를 결합하는 데 있어 강점을 찾을 수 있을 거라 생각했다.

GPT-3와 같은 언어모델 위에 우리가 잘 하는 비디오를 얹어서 비디오에서 지식을 찾아서 추론을 하거나 답을 만드는 데 활용할 수 있는 것”이라고 설명했다.

 

카카오브레인 온경운 연구원(왼쪽)과 한양대 컴퓨터소프트웨어학부 김은솔 교수(오른쪽)(출처=행사 캡처)

 

각기 다른 6개 대학 교수와 한꺼번에 연구팀 만든 이유

 

다양한 분야 전문성이 필요한 연구 주제인 만큼 카카오는 지난 10월 6개 대학, 7명 교수 AI연구실과 함께 공동 연구팀을 꾸렸다.

 

카카오의 공동 연구팀에 참여하는 교수 7명은 ▲KAIST 서민준 교수 ▲KAIST 홍승훈 교수 ▲서울대 이준석 교수 ▲POSTECH 조민수 교수 ▲고려대 김현우 교수 ▲UNIST 전명대 교수 ▲한양대 김은솔 교수다.

 

사업 주제에 따라 학교 단위로 공동 연구실을 설립하는 네이버 전략과는 차이를 보인다.

 

[관련기사]카카오브레인, 6개 대학 AI연구소와 협력한다...초거대AI 개발에도 참여

 

[관련기사]네이버-서울대, 공동 AI 연구센터 설립..."초대규모 AI 개발하겠다"

 

[관련기사]“국내 대학들, AI 산학협력 방식 대전환한다” 서울대 함종민 센터장 인터뷰

 

기업과 대학 간 공동 연구팀이 필요한 첫 번째 이유는 AI 기술 특성 때문이다. 최근 AI 기술은 규모가 계속 커지는 동시에 다양한 분야를 포괄하는 추세다.

 

공동 연구팀 필요성에 대해 김은솔 교수는 “학교에서는 기간을 길게 보고 임팩트가 높은 연구를 해야 하는데 데이터, 컴퓨팅 파워가 부족하다. 기업은 장기적으로 큰 성과를 낼 연구를 하기 어렵다는 단점이 있다”고 말했다.

 

그러면서 “이전처럼 텍스트, 이미지, 소리 등 한 가지 분야만 하는 것이 아니라 다양한 데이터를 다 다뤄야 한다. 산업체와 학교 결합도 필요하지만 다양한 전공을 가진 전문가들과의 협력이 필요하다”고 강조했다.

 

공동 연구가 중요한 다른 이유는 미래 AI 개발자인 학생들에게 실질적인 도움이 되기 때문이다.

 

카카오브레인 온경운 연구원은 “대학원 박사과정 시절 기업과 공동 연구를 할 때 답답했던 점은 토론(discussion) 기회가 적다는 것이다. 사업을 시작할 때, 중간 결과를 보고할 때, 마지막 결과 보고 때 이외에는 기회가 없었다. 이런 방식은 연구에 대한 동기부여도 안 된다”고 말했다.

 

카카오브레인 온경운 연구원(출처=행사 캡처)

 

카카오 연구팀 일원인 이준석 서울대 교수는 “학생들 스스로가 관심 있는 문제를 선택하고 능동적으로 해결하게 할 예정이다. 카카오브레인 연구원들이 공동 지도교수처럼 함께 지도를 하면서 학생들과 한 편의 논문을 만들어가는 프로젝트도 진행하려 한다. 학생 1명당 1개 프로젝트가 목표”라고 밝혔다.

 

김은솔 교수는 “앞으로 6개월 간 학생, 교수들과 함께 논의하면서 좋은 연구 주제를 만드는 데 집중하려 한다”고 전했다.

 

초거대 AI 개발에 특히 중요한 AI 윤리...카카오가 강한 분야

 

국내에서 첫 AI 윤리 가이드라인을 만든 기업인 만큼 AI 서비스에 중요한 법적, 윤리적 문제 예방에서 주력한다는 방침이다. 특히 개인정보와 저작권 침해 문제, 데이터 편향성 문제에 집중한다.

 

김은솔 교수는 “카카오는 기본적으로 개인정보를 다루는 기업이다. 개인정보를 침해하지 않으면서 데이터를 모아 서비스를 하는 일에 대한 전문가들이 굉장히 많다. 해당 분야는 우리가 잘 할 수 있을 거라 생각한다”고 말했다.

 

한양대 컴퓨터소프트웨어학부 김은솔 교수(출처=행사 캡처)

카카오 공동 연구팀 멤버인 고려대 김현우 교수는 “NeurIPS 같은 학회에서는 연구자가 쓴 방법론, 논문이 사회에 얼마나 부정적인 영향을 미칠 수도 있는지에 대해서도 논의(discussion)하라고 요구하고 있다”며 AI 개발에서의 윤리 문제 중요성을 강조했다.

 

온경운 연구원은 “저작권을 침해하지 않는 선에서 데이터를 최대한 많이 모으고, 이것들을 전처리하거나 처리할 수 있는 소프트웨어(SW) 엔지니어링도 굉장히 중요하다. 카카오에는 이와 관련해 굉장히 유능한 전문가가 많다”고 말했다.

 

김은솔 교수도 저작권에 대한 카카오 역량을 강조했다. 그는 “저작권을 침해하지 않는 범위에서 사용 가능한 학습 데이터를 대용량으로 다운로드받아 AI 학습에 활용할 수 있는 프레임워크를 가지고 있다”고 전했다.

 

AI타임스 박성은 기자 sage@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

카카오, 공동연구팀과 자사 초거대 AI 'KoGPT' 후속 연구 계획 공개 - AI타임스