매개변수 5300억개로 기존 단일 생성 모델 대비 3배 크기 슈퍼컴퓨팅 기술에 분산 학습 SW 스택 활용...거대 모델 훈련 효율화 오픈 소스 더파일과 크롤링으로 2700억개 토큰 데이터셋 구성 컴퓨팅 기술 강자인 MS와 엔비디아가 손잡고 초거대 인공지능(AI)을 개발했다. 두 기업이 개발한 AI 언어 모델의 매개변수(parameter)는 5300억개로 기존 동일 유형 모델(단일 생성 모델) 대비 3배 크기다. 독해는 물론 상식 추론에서도 가장 높은 정확도를 보인다는 주장이다. 대규모 AI 모델 훈련 효율성을 높이는 방법을 제시한 것 또한 주목할 만한 성과다. 각 기업이 보유한 슈퍼컴퓨터 인프라에 분산 학습(distributed learning) 소프트웨어(SW) 스택(stack)을 통합 사용한 것이 비..
