딥마인드도 초거대 AI 언어모델 고퍼 공개...크기 대비 성능이 차별점

관련 논문 2개 함께 발표...2800억개 매개변수로 구성
GPT-3보다 크기 조금 크지만 MMLU 성능은 2배 능가
검색 언어모델 RETRO, 25분의 1 크기로 GPT-3와 같은 성능

 

 (출처=딥마인드 공식블로그)

딥마인드가 초거대 인공지능(AI) 언어모델 개발 경쟁에 처음 합류했다. 모델 크기를 늘리는 여타 기업과 달리 AI 학습 효율을 높여 개발 비용을 줄이는 전략을 택했다.

 

9일(현지시간) 딥마인드는 자체 개발한 초거대 AI 언어모델 고퍼(Gopher)를 공개했다. 고퍼의 성능을 증명하는 논문과 함께 이날 딥마인드는 검색 언어모델(Retrieval Language Model)과 거대 언어모델의 윤리 문제를 각기 다룬 논문 2개를 함께 발표했다.

 

먼저 고퍼의 크기에 대해 살펴보자면 2800억개 매개변수로 구성됐다. 오픈AI의 GPT-3(매개변수 1750억개)보다 크고 MS의 메가트론 튜링(Megatron-Turing)(매개변수 5300억개)보다는 작다.

 

반면 성능의 경우 기존 모델들을 능가한다는 것이 딥마인드 설명이다. 딥마인드는 공식블로그에서 "핵심 과제들에 대한 고퍼의 능력이 기존 언어모델들을 능가한다"고 말했다.

 

딥마인드팀은 150개 이상의 공통 언어 문제에 대한 고퍼와 기존 초거대 언어모델 성능을 비교했다. 연구 결과 82% 과제에서 고퍼가 기존 최신 모델을 능가하는 성능을 보였다.

 

대규모 다중 작업 언어 이해(MMLU) 과제에 대해서도 큰 진전을 이뤘다는 주장이다. 딥마인드는 "MMLU에서 기존 모델에 비해 인간 전문가 성과에 보다 근접하는 발전을 이뤘다"고 강조했다.

 

인류학, 사회과학, 의학, 일반 상식, 과학/기술, 수학에 대한 고퍼와 GPT-3, 인간 전문가 능력 비교(출처=딥마인드 공식블로그)

 

검색 언어모델로 초거대 AI 개발 효용 극대화...AI 윤리에도 유용

---

RETRO(Retrieval-Enhanced Transformer)를 적용할 경우 기존 모델과의 성능 격차는 더욱 벌어진다.

 

딥마인드는 고퍼와 함께 검색 언어모델 일종인 RETRO를 소개했다. RETRO는 문장 생성 시 2조 가량의 방대한 구문 텍스트로 이뤄진 외부 메모리를 활용한다. 텍스트를 생성할 때 외부 데이터베이스에서 비슷한 구절을 찾아 비교하는 식이다.

 

뉴럴 네트워크의 메모리 일부를 외부 데이터베이스에 아웃소싱해 RETRO의 일을 줄이는 것. 인간 뇌가 학습 시 전용 기억 매커니즘을 사용하는 것에서 착안한 방법이다.

 

사실 검색 언어모델이라는 아이디어 자체는 완전히 새로운 것은 아니다. 다만 해당 방법이 초거대 언어모델 개발 비용을 줄이는 방법으로 유용하다는 것을 증명한 연구는 이번이 처음이다.

 

딥마인드에 따르면 70억개의 매개변수로 이뤄진 RETRO 모델은 매개변수가 1750억개인 GPT-3와 동일한 성능을 낼 수 있다. 25배 정도 큰 모델과 같은 결과를 제시할 수 있다는 의미다.

 

RETRO와 같은 모델을 사용할 경우 윤리적인 AI, 설명가능한 AI 실현에도 도움이 될 것으로 보인다.

 

RETRO가 생성한 텍스트와 해당 내용을 생성하기 위해 활용한 외부 메모리 내 구절을 비교하면 AI가 제시한 결과물이 어디에서 왔는지 확인할 수 있기 때문이다.

 

딥마인드는 "이 데이터베이스를 활용하면 AI가 어떤 것을 학습했는지 분석하는 일이 수월해진다. 이를 통해 편향과 유해 언어를 제거하는 일이 수월해질 것"이라고 말했다.

 

고퍼, RETRO와 같은날 발표한 딥마인드의 또다른 논문 주제는 초거대 언어모델 사용에 대한 윤리다.

 

해당 논문에서 딥마인드는 언어모델에서 발생할 수 있는 윤리적, 사회적 위험을 예측하고 이 위험들에 대한 포괄적인 분류법을 기존 연구들을 참고해 만들었다. 결과적으로 6가지 주제 영역과 21개 위험으로 나눴다.

 

딥마인드가 만든 6가지 윤리 카테고리(출처=딥마인드 공식블로그)

딥마인드는 "우리가 제시하는 분류는 언어모델에 대한 윤리적, 사회적 고려 사항에 대해 공감할 수 있는 개요를 구축하고, 책임있는 결정을 내리고, 위험 인지시 이를 다루는 접근 방식을 교환하기 위한 것"이라고 말했다.

 

그러면서 "현재의 벤치마킹 도구는 언어모델이 잘못된 정보를 제공한 것을 사람들이 믿는 것과 같은 몇 가지 중요한 문제를 평가하는데 충분한 역할을 하지 못한다. 이번 논문에서는 새로운 혹은 다학제적 분석 도구가 더욱 필요한 위험 대상을 제시한다"고 전했다.

 

AI타임스 박성은 기자 sage@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

딥마인드도 초거대 AI 언어모델 고퍼 공개...크기 대비 성능이 차별점 - AI타임스