데이터센터용 AI칩 선두는 여전히 엔비디아...현장에 맞는 성능 평가 필요

KAIST 전산학과 가을 콜로키움에서 김한준 퓨리오사AI CTO 발표
다수 AI칩들 보고서에서는 엔비디아 능가하지만 현장에서는 달라
알고리즘·소프트웨어·하드웨어 전문가 모여 아키텍처 개발해야

 

(사진=행사 캡처)

데이터센터용 인공지능(AI) 칩 분야 1위인 엔비디아의 자리를 탈환하기는 쉽지 않을 것이라는 전망이 나왔다.

 

엔비디아보다 빠르다고 주장하는 다수 기업 칩들을 현장에 적용할 시 예상보다 성능이 나오지 않는다는 것. 현장 수요를 반영한 기준으로 칩을 평가한 것이 아니기 때문이라는 주장이다.

 

김한준 퓨리오사AI CTO는 6일 KAIST 전산학과 가을 콜로키움 행사에서 ‘데이터센터를 위한 추론칩 설계의 어려움’을 주제로 발표했다.

 

이날 행사에서 김 CTO는 “많은 칩들이 엔비디아보다 10배, 100배 빠르다고 주장하는데 데이터센터에서 실제로 받아서 돌려보면 그만큼 성능이 안 나온다”고 지적했다.

 

(사진=행사 캡처)

문제 이유로 김 CTO는 측정 방식을 지목했다. 그는 “오퍼레이터 단위로 측정했다던지 제대로 된 엔드 투 엔드 측정이 안 됐기 때문이다. 수요자들이 원하는 형태의 평가가 필요하다”고 말했다.

 

스타트업들이 보고서에서 제시하는 칩 성능과 실제 현장에서의 성능 차이가 계속될 시 결과적으로는 기업들이 피해를 입을 것이라는 주장이다.

 

김한준 CTO는 “스타트업들이 화이트 페이퍼(White paper)를 내서 성과를 주장하는데 실제로 그렇지 않아 공정 경쟁에 문제가 된다. 나중에는 어떤 결과를 내도 아무도 믿어주지 않을 수도 있다”고 비판했다.

 

데이터센터와 같은 현장에서는 AI 칩 정확도에 대해 다른 분야보다 민감할 수밖에 없다. 정확도 단 1%를 올리기 위한 알고리즘 개발에도 천문학적인 비용이 들어간다는 설명이다.

 

김 CTO는 “데이터센터를 위한 NPU와 일반적으로 생각하는 NPU 요구사항이 다르다”고 강조했다.

 

이어 “SOTA(State Of The Art) 수준 최신 모델을 지원해야 하며 양자화 방식(Quantization scheme)은 정확도 요구 조건을 만족하는 경우에만 사용해야 한다”고 설명했다.

 

모델별 수동으로 최적화(Manual optimization)하는 방식도 지양해야 한다는 주장이다. 데이터 센터에는 최소 수백에서 수천개 모델이 서빙되며, 모델들은 새로운 데이터를 기반으로 주기적 업데이트가 되기 때문이다.

 

ResNet과 같이 인기있거나 미래지향적인 모델만 선택하는 것도 다수 AI 칩이 현장에서 성능이 떨어지는 이유다.

 

김 CTO는 “많은 스타트업들이 ResNet 결과 위주로 개발해 실제 배포(Deploy)에 어려움이 있다. 미래지향적인 대신 현재 널리 사용되지 않을 수 있다. 칩의 NRE 비용(Cost)에 맞는 시장이 존재해야 한다”고 전했다.

 

퓨리오사AI만의 AI 칩 개발 노하우로는 알고리즘, 소프트웨어, 하드웨어와 같이 다양한 분야 전문가들이 모여 아키텍처를 개발하는 것을 꼽았다.

 

김한준 CTO는 “구글, 애플, 테슬라와 같은 업계에서는 다양한 전문가들이 모여 기술을 개발하는 장점이 있는데 이는 논문에 드러나지 않는다. 이들이 모여 복잡한 문제를 제시하고 해결하면서 다양한 리서치들이 나온다”고 전했다.

 

AI타임스 박성은 기자 sage@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

데이터센터용 AI칩 선두는 여전히 엔비디아...현장에 맞는 성능 평가 필요 - AI타임스