세레브라스가 여는 120조(兆)개 신경망 파라미터 세상..."인간의 뇌 수준급 시스템"

개별 웨이퍼 합한 WSE2칩 기반 CS-2 시스템 클러스터 업그레이드
메모리 확장기술인 ‘메모리X’·고성능 네트워크 패브릭 ‘스웜X’ 추가
192개 CS-2 속 파라미터 합하면 120조개..인간 뇌 속 뉴런보다 많아

세레브라스가 개발한 하나의 거대한 반도체 칩 WSE2가 장착된 CS-2 시스템 가동 모습. (사진=Cerebras Systems).

세계 최대 AI 전용 칩 개발기업 세레브라스 시스템스(Cerebras Systems)가 2세대 웨이퍼 스케일 엔진(Wafer Scale Engine, WSE2) 칩으로 가동되는 ‘CS-2’ AI 컴퓨팅 시스템을 업그레이드했다. 최대 192개의 CS-2 시스템에서 클러스터링(clustering, 그룹별 데이터 분류 방법) 할 수 있는 메모리 머신과 패브릭 스위치를 새로 추가한 것.

 

앤드류 펠드먼 CEO는 지난 24일(현지시간) 컴퓨터 칩 학회 ‘핫 칩스(Hot Chips)’에서 이 같은 소식을 알리며 대규모 AI 모델 구현 가능성을 시사했다. 그에 따르면 192대에 들어가는 매개변수(파라미터)를 전부 합치면 자그마치 120조(兆)개라는 엄청난 수가 탄생한다. 이는 인간의 뇌 속 100조개 시냅스(synapse, 각각의 뉴런(신경세포)이 만나는 접합부)보다도 많다.

 

펠드먼은 같은 날 IT 전문매체 벤처비트와의 인터뷰에서 자사의 새로운 기술을 소개하며 “우리 뇌를 닮은 ‘브레인 스케일(brain scale)’급 시스템”이라고 말했다. 인간의 뇌 활동과 유사한 수준의 AI를 개발하기 위한 포석이라는 설명이다.

 

지난해 GPT-3 출현 이후 언어모델에 필요한 파라미터 수와 메모리 양은 기하급수적으로 증가했다. AI 업계에서 신경망 파라미터 수가 1조개를 넘어선 것은 수개월 전 일. 올 1월 구글 연구진은 “총 1조6000억개의 파라미터를 가진 모델을 교육했다”고 발표했다. 이에 뒤질세라 6월 중국에서는 파라미터 수 1조7500억개를 가진 사전학습 모델인 ‘우다오(悟道) 2.0’ 개발에 성공했다는 소식이 날아들었다.

 

세레브라스는 고성능 AI 모델 개발을 위해 일반적 반도체 제조방식을 타파한 기업이다. 기존 설계자들이 웨이퍼를 조각으로 쪼개 개별 칩을 만드는 반면, 이를 엮어 하나의 칩으로 만들었다. 이렇게 연결된 웨이퍼들은 더욱 효율적으로 강력한 컴퓨팅을 제공한다.

 

이러한 방식으로 지난해 8월 1조2000억개 트랜지스터의 WSE1에 이어 올 4월 이보다 두 배 많은 2조6000억개 집적된 WSE2를 출시했다. 전체 코어 수는 85만개. 수백 개에 지나지 않은 GPU와 비교했을 때 그야말로 ‘AI 맞춤형’ 반도체 칩이다.

일반 반도체 칩과 WSE2를 비교한 이미지. (사진=Cerebras Systems).

그러나 이만한 용량의 칩을 제조하고 운영하는 것 역시 어려운 일이다. 크기에 맞춰 절대 부러지지 않는 실리콘 재질을 사용하는 것을 비롯해 제조 결함을 피하는 설계 방식, 거대한 칩을 냉각시키는 물 시스템도 갖춰야 한다.

 

이에 세레브라스는 새 SW 실행 아키텍처 ▲세레브라스 웨이트 스트리밍(Cerebras Weight Streaming), 메모리 확장 기술 ▲세레브라스 메모리X(Cerebras MemoryX), 칩의 각 유닛을 연결하는 ‘고성능 인터커넥트 패브릭’ 기술인 ▲세레브라스 스웜X(Cerebra SwarmX) 등 세 가지 보완 기술을 개발했다.

 

먼저 ‘세레브라스 웨이트 스트리밍’은 AI 모델의 컴퓨팅과 파라미터 저장공간(스토리지)을 세분화해 개발자들이 각 테스트 과정에 따라 연구할 수 있도록 지원한다. 개별적으로 컴퓨팅 크기를 확장하거나 속도를 높일 수 있는 것이다. 이 같은 방식은 소형 프로세서가 대규모 클러스터링에 결합될 시 문제가 되는 메모리 대역폭을 해결한다. 또 모델의 파라미터를 오프칩(off-chip, CPU가 외부에 존재하는 것)으로 저장하면서도 온칩(on-chip, CPU가 내부에 집적된 형태)과 동일한 훈련과 추론성능을 제공한다.

 

‘세레브라스 메모리X’는 WSE-2를 최대 2.4페타바이트(PB)의 고성능 메모리로 제공한다. 이를 통해 CS-2는 최대 120조개 파라미터를 가진 대규모 AI 모델 개발을 지원하게 된다.

 

‘세레브라스 스웜X’는 고성능 AI에 최적화된 네트워크 패브릭이다. 최대 192개의 CS-2 속 총 1억6300만개의 코어를 연결할 수 있도록 설계돼 단일 신경망 훈련을 맡는다.

세레브라스의 새로운 클러스터링 구조를 설명하는 이미지. (사진=Cerebras Systems).

지금껏 세레브라스는 미국 내 아르곤 국립연구소, 로렌스 리버모어 국립연구소 등 국책 연구소부터 글락소스미스클라인, 아스트라제네카 등 제약회사 내 슈퍼컴퓨터에 자사 기술을 통합 제공해왔다. 그러나 펠드먼 CEO의 궁극적 목표는 지구상 최고의 언어모델 개발에 중추적인 역할을 담당하는 것. 또 시장을 리드하는 엔비디아와 알파벳 구글을 뛰어넘는 것이다.

 

로이터통신은 “세레브라스의 새로운 컴퓨터 칩 클러스터는 지금껏 상상할 수 없었던 크기의 AI 개발을 돕는 구조”라며 “언어 외 로봇, 컴퓨터 비전과 같은 영역에서 AI 발전을 더욱 끌어올릴 것”이라고 전망했다.

 

AI타임스 박혜섭 기자 phs@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (hhttp://www.aitimes.com/)
무단전재 및 재배포 금지

 

세레브라스가 여는 120조(兆)개 신경망 파라미터 세상..."인간의 뇌 수준급 시스템" - AI타임스