AI타임스

트랜스포머 모델, AI 언어 모델에 혁신 가져와 서로 떨어져 있는 데이터 의미 이해할 수 있어 과학·헬스케어 등 다양한 AI 산업 혁신 이끌어 트랜스포머 많을수록 성능↑...초거대 AI 등장 인공지능(AI)이 칼럼을 쓰고 사람과 대화하는 시대가 됐다. 오픈AI가 개발한 초거대 AI 'GPT-3'는 2020년 9월 영국 가디언에 'AI와 일자리'란 주제로 칼럼을 썼다. AI를 두뇌로 탑재한 가상인간이 사람과 대화하는 기술도 많이 보급됐다. 준비된 답변만 하던 챗봇이 사람과 자유로운 소통이 가능한 모델로 발전했다. 통신사의 AI 상담원이나 은행의 AI 뱅커 등의 대표 사례다. 이처럼 AI가 칼럼을 쓰고 사람과 대화할 수 있었던 비결은 '트랜스포머'에 있다. 영화에서 많이 본 차가 사람으로 변하는 트랜스포머가..

Pathways 아키텍처, 5,400억 개의 매개변수, Transformer 기반 모델 문제 해결 방법을 학습해 모든 문제를 해결할 수 있는 단일 AI 모델 프로그래밍, 수학 문제 해결 및 농담을 설명할 수 있는 최신 언어 모델 구글이 프로그래밍, 수학 문제 해결 및 농담을 설명할 수 있는 새로운 언어 모델인 PaLM (Pathways Language Model)을 공개했다. PaLM은 6,144개의 TPU v4 칩을 결합해 단일 모델을 효율적으로 훈련할 수 있도록 하는 Pathways 시스템으로 학습된 5,400억 개의 매개변수, 트랜스포머(Transformer) 기반 모델이다. PaLM은 수백 가지의 언어 이해 및 생성 작업에 대해 시험됐으며 현재까지 만들어진 다른 언어 모델보다 학습 효율성이 높다...

GTC 2022에서 새로운 초거대 AI 언어모델 기능 공개 인코더와 디코더 모두 갖춘 '인코더-디코더 아키텍처' 인간과 자연스러운 소통 추구, 언어이해와 생성 가능 "300억 개 파라미터로 학습 중, 2000억 개로 늘릴 것" KT가 기존 언어모델을 뛰어넘는 새로운 초거대 AI 모델을 개발하고 있다고 밝혔다. 스마트 스피커, 콜센터, 로보틱스 등 다양한 분야에 인공지능(AI) 기술을 적용하고 있는 만큼 차별화된 언어모델이 필요한 까닭이다. KT가 개발하고 있는 언어모델은 구글 '버트(BERT)'와 오픈AI의 'GPT-3'의 개량된 버전이 될 것으로 전망된다. 서영경 KT 연구원은 24일 세계 최대 AI 개발자 컨퍼런스로 불리는 엔비디아 GTC 2022에서 KT가 개발 중인 차세대 언어모델을 공개했다. 서..

자체 감독(Self-supervised) 프레임워크 'AV-HuBERT' 소개 음성·입술 움직임 동시에 훈련하는 최초 언어모델 시스템 연구진 "스마트폰·AR 안경에 탑재하면 효과 극대화" 사람 말을 기존 언어모델보다 더 정확히 이해하는 시스템이 나왔다. 입술 움직임과 음성 데이터로 학습해 여러 명이 동시에 말하거나 인파로 붐빌 때도 사용자 말만 정확히 잡아 알아듣는다. 이 기술을 스마트폰이나 증강현실(AR) 안경에 탑재하면 더 똑똑한 '인공지능(AI) 비서'가 탄생할 전망이다. 메타플랫폼(이하 메타, 구 페이스북)이 7일 시청각 데이터로 훈련해 사람 말을 더 정확히 이해하는 최첨단 자체 감독(Self-supervised) 프레임워크 'AV-Visual Hidden Unit BERT(AV-HuBERT)'를..

엔비디아 생태계, 다양한 분야로 범위 확장 AI, 양자컴퓨팅, 5G, 로보틱스, 자율주행 등에 150개 SDK 공급 꾸준한 업데이트로 제품 수명주기 내내 속도 향상 제공 이번 GTC 행사에서 새롭게 업데이트된 65개 SDK 선보여 젠슨 황 엔비디아 최고경영자(CEO)가 9일부터 11일(현지시간)까지 열리는 온라인으로 진행되는 GPU 테크놀로지 컨퍼런스(GTC) 기조연설에서 엔비디아가 가진 플랫폼 생태계를 자신했다. 젠슨 황 CEO는 이번 기조연설에서 "엔비디아는 플랫폼 범위를 인공지능(AI), 양자컴퓨팅, 사이버보안, 5G, 로보틱스, 지구과학 등 다양한 분야로 확장하고 있다"고 밝혔다. 또 "엔비디아의 플랫폼을 통해 최종 사용자는 제품 수명주기 내내 속도 향상을 경험하고 있다"고 설명했다. ◆ 가장 진..

네이버 AI스피커, 네이버앱 음성기반 검색, 음악검색에 한국어 NLP사용 언어처리 신뢰성, 질의응답, 대화시스템 등에서 역대 최다 논문 채택 초거대 AI 하이퍼클로바에 대한 수년간 연구 과정과 성과도 공개 네이버(대표 한성숙)가 '한글 및 한국어 정보처리 학술대회(Human&Cognitive Language Technology, 이하 HCLT) 2021'에 15개 논문을 발표했다고 19일 밝혔다. HCLT는 한국어 자연어처리 기술 관련 국내 최고 학술대회로 매년 한글날 전후 개최된다. 네이버는 2014년부터 꾸준히 HCLT에 참가해 한국어처리 기술 연구 성과를 공유했다. 한국어처리 기술은 네이버 검색의 핵심 기술 중 하나다. 올해 네이버가 HCLT에 발표한 논문은 총 15건으로 전년 대비 약 2.5배 증..

매개변수 5300억개로 기존 단일 생성 모델 대비 3배 크기 슈퍼컴퓨팅 기술에 분산 학습 SW 스택 활용...거대 모델 훈련 효율화 오픈 소스 더파일과 크롤링으로 2700억개 토큰 데이터셋 구성 컴퓨팅 기술 강자인 MS와 엔비디아가 손잡고 초거대 인공지능(AI)을 개발했다. 두 기업이 개발한 AI 언어 모델의 매개변수(parameter)는 5300억개로 기존 동일 유형 모델(단일 생성 모델) 대비 3배 크기다. 독해는 물론 상식 추론에서도 가장 높은 정확도를 보인다는 주장이다. 대규모 AI 모델 훈련 효율성을 높이는 방법을 제시한 것 또한 주목할 만한 성과다. 각 기업이 보유한 슈퍼컴퓨터 인프라에 분산 학습(distributed learning) 소프트웨어(SW) 스택(stack)을 통합 사용한 것이 비..

"칼럼이 있는 AI톡" 중앙대 인문콘텐츠연구소＆AI타임스 공동기획 [편집자주] 인공지능(AI)이 우리 일상 생활 속으로 점점 더 가깝게 다가오고 있습니다. 인공지능의 좋은 점과 나쁜 점에 대해서 설왕설래합니다. 많은 논의들이 진행되고 있습니다. 무릇 결론은 ‘사람이 중요하다’는 점입니다. 때문에 AI기술 중심으로 움직이는 현실에서 그 속에 있는 인간과 문화, 철학과 예술에 대한 논의를 일상의 눈높이에서 해보고자 합니다. 때로는 AI에 대한 사색을, 때로는 AI 도입으로 바뀌는 삶에 대해 생각하는 재료를 만들어 선보이겠습니다. 이번 특별기획은 중앙대 인문콘텐츠 연구소와 AI타임스가 공동으로 기획하고 진행합니다. [글 싣는 순서] ① “메타버스, 새로운 기술 아냐” 최적 타이밍 맞았을 뿐 / 박상용 교수 ②..