매개변수 2

AI가 칼럼 작성하고 사람과 대화할 수 있는 비결은?

트랜스포머 모델, AI 언어 모델에 혁신 가져와 서로 떨어져 있는 데이터 의미 이해할 수 있어 과학·헬스케어 등 다양한 AI 산업 혁신 이끌어 트랜스포머 많을수록 성능↑...초거대 AI 등장 인공지능(AI)이 칼럼을 쓰고 사람과 대화하는 시대가 됐다. 오픈AI가 개발한 초거대 AI 'GPT-3'는 2020년 9월 영국 가디언에 'AI와 일자리'란 주제로 칼럼을 썼다. AI를 두뇌로 탑재한 가상인간이 사람과 대화하는 기술도 많이 보급됐다. 준비된 답변만 하던 챗봇이 사람과 자유로운 소통이 가능한 모델로 발전했다. 통신사의 AI 상담원이나 은행의 AI 뱅커 등의 대표 사례다. 이처럼 AI가 칼럼을 쓰고 사람과 대화할 수 있었던 비결은 '트랜스포머'에 있다. 영화에서 많이 본 차가 사람으로 변하는 트랜스포머가..

AI테크 2022.04.07

구글, 5400억 매개변수 초대형 언어 모델 ‘PaLM’ 공개

Pathways 아키텍처, 5,400억 개의 매개변수, Transformer 기반 모델 문제 해결 방법을 학습해 모든 문제를 해결할 수 있는 단일 AI 모델 프로그래밍, 수학 문제 해결 및 농담을 설명할 수 있는 최신 언어 모델 구글이 프로그래밍, 수학 문제 해결 및 농담을 설명할 수 있는 새로운 언어 모델인 PaLM (Pathways Language Model)을 공개했다. PaLM은 6,144개의 TPU v4 칩을 결합해 단일 모델을 효율적으로 훈련할 수 있도록 하는 Pathways 시스템으로 학습된 5,400억 개의 매개변수, 트랜스포머(Transformer) 기반 모델이다. PaLM은 수백 가지의 언어 이해 및 생성 작업에 대해 시험됐으며 현재까지 만들어진 다른 언어 모델보다 학습 효율성이 높다...

AI테크 2022.04.07