AI테크

[찬이의 IT교실] AI 칩이 뭐길래… ① AI 칩 없이 AI도 없다

AI타임스 2022. 4. 26. 11:43

AI 칩에서 훈련한 알파고가 인간과 바둑 대결서 압승
CPU는 스포츠카 처럼, AI 칩은 화물트럭 처럼 일 해
AI 칩은 대량 연산과 병렬 처리에 뛰어난 구조 채택
AI 칩은 시간과 비용 측면에서 효율적으로 작업 수행
GPU, TPU 등 다양한 종류의 고성능 AI 전용칩 등장

 

[편집자 주] 하루가 멀다하고 새로운 기술들이 쏟아져 나옵니다. AI는 모든 산업 분야에 영향을 미칠 핵심 기술이 되었습니다. [찬이의 IT교실]은 AI를 비롯해 어렵고 생소한 IT 기술과 산업을 알기 쉽고 재미있게 풀어 드리겠습니다. 

 

AI를 위한 칩이 따로 있다.(사진=셔터스톡)

 

지난 2016년 3월에 있었던 세계 최정상급 프로기사인 이세돌과 구글 딥마인드가 개발한 인공지능(AI) 바둑 프로그램 알파고(AlphaGo)가 펼친 세기의 대결을 기억하시나요? 전 세계의 이목이 이 바둑 대결로 쏠렸었죠. 대다수의 전문가가 이세돌의 우세를 점쳤지만, 예상과 다른 이세돌의 완패에 많은 사람들이 충격에 빠졌었습니다. 이세돌의 패배도 충격이었지만 인간을 압도한 AI의 위력에 더 놀라지 않을 수 없었는데요. 바둑에서 나올 수 있는 무한대에 가까운 경우의 수를 계산해야하는 컴퓨터가 직관력을 가진 인간을 이길 수 없을 것으로 믿었던거죠.

 

당시 알파고는 수백대의 컴퓨터들을 결합한 슈퍼컴퓨터로 알려졌습니다. 특히 3천만 건이 넘는 프로기사의 기보를 학습하기 위해 우리가 알고 있는 컴퓨터의 CPU(중앙처리장치) 대신 GPU(그래픽처리장치)라는 칩을 사용했다고 합니다. 게임용 PC에서나 사용되는 것으로 알았던 그 GPU가 맞습니다. 

 

2016년 3월 이세돌과 겨뤘던 알파고가 사용한 서버.(사진=구글)

AI는 주로 수많은 데이터를 학습한 후, 주어진 정보 안에서 특정 행동을 하거나 결과를 도출합니다. 그만큼 많은 정보를 빠른 시간 안에 학습해야 하죠. 하지만 우리가 흔히 사용하는 CPU로는 이 수많은 데이터를 단시간에 처리하고, 학습하고 적용하는 데 훨씬 더 많은 시간과 비용이 요구되기 때문에 어려움이 있습니다.

 

CPU와 GPU는 둘 다 데이터를 읽어들여 계산을 하고 답을 도출하지만 일을 하는 방식은 차이가 큽니다. 예를 들어 CPU에게 집을 짓고, 잔디를 깎고, 옷을 빨고, 음악을 틀고, 저녁 식사를 요리하라고 말할 수 있습니다. CPU는 작업을 수행하는 방법을 알고 있기 때문에 모든 작업을 해낼 수 있지만 한 번에 몇 가지 작업만 동시에 수행할 수 있습니다. CPU는 똑똑하지만 느립니다.

 

반면에 GPU는 다릅니다. GPU는 개미 떼와 비슷합니다. 각각의 개미는 개미집을 짓고, 여왕에게 먹이를 주고, 알을 키우는 방법만 알고 있을 뿐이죠. 그들에게 복잡한 일을 시킬 수는 없지만 주어진 일을 모두가 합심해서 수행하기 때문에 아무리 큰 일이라도 신속하게 수행해 냅니다. GPU는 덜 똑똑하지만 빠르고 효율적입니다.

 

CPU와 GPU 구조(그림=박찬 위원)

구조를 살펴보면 CPU는 다양한 연산을 수행하기 위해서 복잡하고 큰 코어를 몇 개 정도 가지고 있고 GPU는 단순한 연산을 특히 수학적 연산을 반복하기 위해서 특화된 작은 코어를 수백 개 가지고 있어요. 여기서 질문이 있는데요, 스포츠카와 화물트럭를 CPU와 GPU에 비유해 본다면 어떤게 CPU고 어떤게 GPU 일까요? 

 

CPU는 스포츠카 처럼 일하고 GPU는 화물트럭 처럼 일한다.(사진=박찬 위원)

짐을 옮기는 경우를 생각해 보죠. 스포츠카는 한번에 하나씩 짐을 아주 빠르게 나를 수 있는 구조를 갖고 있고 화물트럭은 대량의 짐을 실은 다음에 한번에 나를 수 있는 구조를 가지고 있습니다. 스포츠카의 경우 아무리 빠르더라도 특히 거리가 떨어져 있다면 여러 번에 걸쳐 짐을 옮겨야하기 때문에 비효율적이겠죠. 당연히 화물트럭을 이용해서 한꺼번에 짐을 실어 나르는 것이 훨씬 효율적일 겁니다.

 

화물 트럭이 대량의 짐을 옮기는데 효율적인 것처럼 GPU를 사용하게 되면 대량 연산을 효율적으로 수행할 수 있습니다. AI에 사용되는 인공 신경망은 입력층, 은닉층 및 출력층으로 구성되는데, 각 계층에는 수많은 뉴런이 존재합니다. 각 뉴런은 이전 계층으로부터로 받은 입력값과 연결된 네트에 있는 가중치를 각각 곱해서 합산한 출력값을 다음 계층으로 전달합니다. 즉 각 뉴런은 다수의 곱셈과 덧셈으로 구성된 연산 기능을 수행하죠. 

 

인공 신경망 구조와 AI 연산.(그림=박찬 위원)

이 기능을 CPU를 이용해서 실행하게 되면 뉴런에 연결된 각 입력값과 가중치를 순차적으로 곱해서 결과값을 저장하고 모든 곱셈이 끝나면 저장된 값들을 모두 불러와서 최종적으로 합산을 해줘야 되겠죠. 그런데 만약 GPU를 이용해서 처리한다면 모든 입력값과 가중치 곱셈 연산을 동시에 수행하는 것이 가능하게 됩니다. 

 

뉴런 구조와 행렬 연산.(그림=박찬 위원)

예를 들어서 뉴런이 3개 있는 경우를 보면 입력값 2.5, 4, 1,2가 들어오고 가중치가 -1, 0.4, 1.5 일 때 3개의 곱셈 연산 2.5x-1, 4x0.4, 1.2x1.5 결과를 합산해야 하기 때문에 수학의 행렬 연산과 같습니다. 이 행렬 연산을 CPU로 처리하면 곱하고 저장하는 연산을 반복적으로 해야 하지만 GPU로 처리하면  한꺼번에 연산이 가능하게 되는 장점이 있습니다.

 

컨볼루션 신경망 구조와 행렬 연산.(그림=박찬 위원)

또한 이미지나 음성 데이터를 처리하는데 많이 사용되는 컨볼루션 신경망(CNN, Convolutional Neural Network) 연산의 경우에도 전체 영상이나 이미지에 대해서 특징이나 패턴을 추출하기 위해 가중치 행렬인 필터(filter)를 적용할 때 곱셈과 덧셈 연산이 반복적으로 수행됩니다. 그래서 이런 부분들을 CPU에서 처리하는 것보다는 다수의 다양한 연산 장치를 가지고 있는 GPU에서 병렬 처리하는 것이 훨씬 효율적입니다.

 

AI를 위해서는 기존의 CPU 대신 수많은 데이터를 단시간에 처리하고, 학습하고 적용할 수 있는 GPU와 같은 특별한 프로세서가 필요합니다. 이 특별한 프로세서를 바로 AI 칩이라고 합니다. AI 칩은 인공지능에 탑재되는 프로세서로, 학습, 추론 등 인공지능 서비스 구현에 필요한 대규모 연산을 높은 성능, 높은 전력효율로 실행할 수 있습니다. 인공지능의 핵심 두뇌와 같은 역할을 하는 것이죠. 

 

처음에는 GPU가 이 역할을 주로 했습니다. 하지만 GPU는 AI만을 위해서 개발된 것은 아니기 때문에 시간이 가면서 GPU의 병렬처리 특성을 활용하되 AI만을 위한 전용칩이 등장하고 있답니다. 예를 들어 초기 버전의 알파고는 GPU를 활용했지만, 이후에는 구글이 직접 개발한 TPU(Tensor Processing Unit)라는 AI 전용칩을 통해 학습했었죠.

 

하지만 아직 AI 시장을 절대적으로 휘어잡을 수 있는 칩은 없습니다. 현재 시장에 존재하는 AI 칩의 종류는 다양합니다. 

 

AI타임스 박찬 위원 cpark@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지

 

 

[찬이의 IT교실] AI 칩이 뭐길래… ① AI 칩 없이 AI도 없다 - AI타임스

[편집자 주] 하루가 멀다하고 새로운 기술들이 쏟아져 나옵니다. AI는 모든 산업 분야에 영향을 미칠 핵심 기술이 되었습니다. [찬이의 IT교실]은 AI를 비롯해 어렵고 생소한 IT 기술과 산업을 알기

www.aitimes.com