[분석] 베일 벗은 카카오 초거대 AI ‘KoGPT’, 기존 모델과 비교해보니

카카오, 16일 자체 개발한 초거대 AI ‘KoGPT’ 공개...깃허브로 무상 공유
매개변수 60억개·학습 데이터 2000억개...하이퍼클로바·GPT-3 보다 적어
블록체인 더한 초거대 AI 만든다...기억·추론 구현, 디지털 휴먼 개발 목표

 

(출처=행사 캡처)

카카오의 초거대 인공지능(AI) 모델이 드디어 베일을 벗었다. 모델 이름은 ‘KoGPT’. 대표적인 초거대 AI인 오픈AI GPT-3의 한국어판이라는 의미다.

 

카카오 KoGPT 등장으로 이제 우리나라는 한국어 특화 초거대 AI를 총 2개 확보하게 됐다. 다른 하나는 올해 5월 앞서 등장한 네이버 하이퍼클로바다.

 

카카오(공동대표 여민수, 조수용)는 16일 자체 개발한 초거대 AI 언어모델 KoGPT를 최대 오픈소스 커뮤니티 깃허브(github)에 공유했다.

 

같은 날 카카오의 기술 컨퍼런스 ‘if (kakao) 2021’에서는 카카오브레인 김일두 대표가 ‘KoGPT’의 특징과 향후 개발 방향에 대해 소개했다.
 

카카오의 초거대 AI ‘KoGPT’, 이름에 걸맞는 규모 갖췄나

현재 전세계적으로 한창인 초거대 AI 개발 경쟁에서의 핵심은 얼마나 큰 모델을 구현해냈는가다. AI 모델의 크기가 클수록 좋은 성능을 보인다는 법칙을 아직 깨뜨린 사례가 없기 때문.

 

카카오에 따르면 KoGPT의 매개변수(parameter)는 60억개다. 하이퍼클로바의 매개변수가 2040억개, GPT-3의 경우 1750억개임을 고려하면 모델 크기가 훨씬 작다고 볼 수 있다.

 

학습 데이터를 살펴봐도 기존 모델들에 비해 규모가 작다. 카카오 KoGPT는 2000억개 토큰(token), 네이버 하이퍼클로바는 5600억개 토큰의 한국어 데이터를 기반으로 개발됐다.

 

GPT-3의 경우 4990억개 데이터셋에 대해 가중치 샘플링을 거친 후 3000억개로 구성된 데이터셋으로 사전 학습했다.

 

향후 카카오는 KoGPT 모델 크기를 늘릴 계획이다. 김일두 대표는 “현재 언어모델의 최대 규모를 100배 이상 더 키울 예정”이라고 전했다.
 

KoGPT의 능력은 어디까지? 다양한 언어 과제에 우선 충실

카카오는 KoGPT에 대해 초거대 AI '언어'모델이라고 분명히 지칭했다. 이미지와 자연어 데이터를 함께 사용하는 멀티 모달 형태로 개발할 것을 강조한 LG와는 다른 행보다.

 

물론 장기적으로는 다른 초거대 AI 개발 기업들과 마찬가지로 멀티 모달 형태의 AI 모델로 개선할 계획이다. 특히 카카오는 시각 데이터를 넘어 영상 데이터까지 포용할 것을 예고했다.

 

김일두 대표는 향후 차세대 AI 개발 계획으로 “단순 이미지 수준이 아닌 비디오 수준에서 세상을 이해하기 위한 도전을 이어가겠다”고 전했다.

 

현재 KoGPT가 당장 수행 가능한 언어 과제는 크게 4가지다. ▲주어진 문장의 긍정과 부정 판단 ▲긴 문장 한줄 요약 ▲문장 추론으로 결론 예측 ▲질문 시 문맥 이해를 통한 답변이 그것.

 

맥락에 따라 자동으로 글쓰기가 가능한 만큼 상품 소개글 작성, 감정 분석, 기계 독해, 기계 번역 등에 활용할 수 있을 것으로 보인다. 특히 교육을 위한 초거대 AI 역할을 강조했다.

 

김일두 대표는 “뉴스 기사를 주고 '위 글을 요약하라'거나 쇼핑몰 리뷰를 보고 긍정인지 부정인지 평가하거나 더 나아가서는 특정 주제를 놓고 대화하는 챗봇을 만들 수도 있다”고 말했다.

 

이어 “기존과 다른 교육 학습방법을 시도해보거나 교육 콘텐츠를 분석하는데 있어 기술적 지원은 큰 차별화로 이어지고 있다”고 강조했다.

 

(출처=행사 캡처)

다른 모델과 다른 KoGPT만의 경쟁력은 '대중성'

 

카카오가 자사 초거대 AI 모델 특징으로 강조한 것 중 하나는 대중성이다. 카카오가 지목한 KoGPT 사용 대상은 사회적 기업, 소셜 벤처, 스타트업 등이다.

 

모델을 최초 공개하는 동시에 오픈 소스로 무료 개방한 점도 대중성에 부합한다. 모델 규모가 작은 만큼 사용에의 부담도 덜할 것으로 보인다.

 

네이버 또한 하이퍼클로바 대중화를 강조한 바 있지만 해당 모델에 대해서는 아직 깃허브에서 공개하고 있지 않은 상태다.

 

하정우 네이버 AI연구소장은 자사 초거대 AI 모델을 소개하는 다수 행사에서 “하이퍼클로바 사용 편의를 높이기 위해 버트(BERT) 모델과 같이 경량화한 버전을 제공할 예정”이라고 밝혔다.

 

LG의 경우 초거대 AI를 우선적으로 사용할 대상으로 일반 대중이 아닌 LG 계열사를 지목한 바 있다.
 

앞으로 달라질 KoGPT...초거대 AI에 블록체인 더한다

카카오가 밝힌 향후 KoGPT 업그레이드 계획을 살펴보면 기존 모델과 다른 길을 갈 것으로 예상된다.

 

특히 초거대 AI에 블록체인 기술을 더하는 행보가 이색적이다.

 

김일두 대표는 "(카카오 초거대 AI가) 모두의 기술로 사용될 수 있도록 블록체인 기술을 적극 검토 중이다. 블록체인 위에서 언어모델은 계속해서 추가되는 데이터를 반영해 학습되고 모델 사이즈도 지속적으로 커지도록 설계될 것"이라고 밝혔다.

 

이어 "언어모델 학습 연산을 도와주거나 좋은 지식이 포함된 데이터를 제공함으로써 누구나 기여할 수 있다. 이렇게 기여한 사람들은 모델의 지분 일부를 갖게 되며, 누군가 모델을 사용했을 때 사용료를 지분만큼 지급받는 생태계를 그리고 있다"고 설명했다.

 

(출처=행사 캡처)

기존 AI에 없는 추론, 기억 능력 갖추고 디지털 휴먼까지 구현

KoGPT를 차세대 AI로 업그레이드하기 위해 카카오는 7명의 대학 교수와 협업할 계획이다. 학계와의 공동 연구로 AI에 인식을 넘어 추론과 기억 능력을 탑재시키는 과제를 진행한다.

 

김일두 대표는 “GPT-3가 갖는 단점을 극복하기 위한 알고리즘 재설계를 진행하고 있다. 윤리적 이슈, 편향적 이슈 등 아직 해결 실마리도 찾지 못한 문제들이 많다. 추론능력과 기억력이라는 테마를 포함해 다양한 알고리즘 개선 성과를 논문으로 공개하고 더 나은 모델을 세상에 공개하고자 한다”고 전했다.

 

한국어 특화 모델인 KoGPT는 향후 다국어 모델이 될 예정이다. 특히 한국어와 같이 사용 인구가 적어 글로벌 초거대 AI 모델이 제대로 성능을 발휘하지 못해 소외받는 언어들을 포용하겠다는 계획이다.

 

김 대표는 “(초거대 AI 모델의) 다국어 지원을 포함해 표준이 될만한 대규모 언어 데이터셋을 구축하려 한다. 한국어를 포함한 여러 언어에서는 아직 AI 영향력을 실감하기 어려운 실정”이라고 전했다.

 

영어, 일본어와 같은 주요 언어부터 시작해 베트남어, 말레이시아어 등 동남아시아 언어를 포괄할 예정이다.

 

차세대 기술 구현을 위한 초석으로 여겨지는 초거대 AI를 활용해 디지털 휴먼도 개발한다.

 

김일두 대표는 “AI에 인공 캐릭터나 가상의 사람 모습을 결합해 궁극적으로는 카카오의 모든 유저에게 친근하면서도 유용한 디지털 휴먼을 완성하고자 한다”고 말했다.

 

그러면서 “우리가 만드는 AI가 누군가에게는 친구, 주치의, 선생님, 비서가 되어줄 미래를 꿈꾸고 있다. 개별적인 삶의 어려움을 다독여주고 도와주는 AI를 만들어가는 일에 많은 기대 부탁드린다”고 전했다.

 

AI타임스 박성은 기자 sage@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

[분석] 베일 벗은 카카오 초거대 AI ‘KoGPT’, 기존 모델과 비교해보니 - AI타임스