AI 공정성 진단하고 편향성 교정하는 진단시스템 개발
AI가 사람 평가하며 발생하는 편향성 문제, 기술로 극복
2019년 개발 시작, 현존하는 진단시스템보다 성능 우위
"AI 공정성 진단은 이제 시작, 기술 업그레이드 계속 필요"
카이스트 인공지능 공정성 연구센터(센터장 유창동)가 인공지능(AI)의 공정성을 진단하고 편향성을 교정하는 진단시스템 'MSIT AI FAIR 2022(MAF2022)'를 개발했다. AI 모델과 학습데이터의 편향성을 분석·탐지·완화·제거하는 도구다. 개발한 AI가 윤리적 원칙이나 공정성 정책을 준수하는지 진단해 결과를 시각화 자료로 보여준다. 문제가 있는 경우 교정도 가능하다.
AI 공정성은 기술 발전에 따라 계속 야기된 문제점 중 하나다. AI가 감정에 치우치지 않고 일관적인 의사결정을 할 것이란 기대와 달리 편향적인 결과를 내놓는 사례가 많아서다. 특히 AI가 채용, 신용 평가, 근무 평가 등 사람을 평가하는 도구로 사용되면서 AI 편향 문제는 사회적 문제로 부각되고 있다.
아마존이 대표 사례다. 아마존은 이력서를 AI가 평가하는 알고리즘을 개발하다 중단한 사례가 있다. 알고리즘이 이력서에 '여학교' 등 여성을 상징하는 단어가 있으면 부정적으로 평가했기 때문이다. 이유는 데이터 학습에 있었다. 기존 지원자들의 이력서를 바탕으로 알고리즘을 학습했는데, IT 직군 종사자 중 여성 지원자가 적어 이를 감점 요소로 보았다.
AI가 편향된 결과를 내놓은 사례는 이외에도 다양하다. 마이크로소프트(MS)는 2016년 트위터에 '테이(Tay)'라는 AI 챗봇을 소개했지만, 16시간 만에 서비스를 중단했다. 테이가 사람들과 트윗을 주고받는 과정에서 "정말 페미니스트가 싫다", "히틀러는 옳았고, 나는 유대인을 증오한다"는 등의 인종차별적이고 성차별적인 글을 생산해서다. 국내 스타트업 스캐터랩이 개발한 챗봇 '이루다'도 여러 사전 테스트를 거쳤음에도 불구하고 성희롱과 성 소수자 차별 글을 남겨 서비스가 중단됐다.
AI 편향 문제가 불거지면서 정부와 시민단체 등에서는 '신뢰할 수 있는 인공지능', '설명할 수 있는 인공지능' 등을 주장하며 AI 편향 문제 해결을 촉구해 왔다. 이번 카이스트 인공지능 공정성 연구센터가 개발한 MAF2022는 이 문제를 기술적으로 해결한 케이스다. 데이터 학습 과정에서 편향된 데이터를 학습하고 있는 것은 아닌지, 개발한 AI가 사용되는 분야에 맞춰 공정한 결과를 내는지를 분석하고 교정하는 역할을 한다.
MAF2022는 IBM, 마이크로소프트(MS), 구글이 오픈소스로 공개한 진단시스템보다 높은 성능을 자랑한다. 기업이 아닌 연구소에서 AI 공정성을 진단하는 프레임워크를 개발한 것은 이번이 처음이다. 카이스트 인공지능 공정성 연구센터장으로 근무하고 있는 유창동 카이스트 전기및전자공학부 교수를 만나 자세한 얘기를 들어봤다.
Q. MAF2022는 AI 공정성을 진단하고 편향성을 교정하는 진단시스템으로 알고 있다. 이 시스템을 쉽게 설명한다면?
AI 공정성을 진단하는 또 하나의 AI라고 생각하면 된다. AI와 상호작용하는 AI다. 이 데이터를 넣고 "공정해? 한 번 결과를 시각화로 보여줄 수 있을까?"라고 하면 그 결과를 보여주고 "학습된 알고리즘이 공정해?"라고 물어보면 이를 판단하고 확인 및 교정해준다. 한마디로 정의하면 AI 공정성을 분석할 수 있고, 편향성 문제를 완화할 수 있는 프레임워크다.
Q. AI 공정성을 평가한다는 것이 사실 쉽지만은 않게 느껴진다.
공정성은 기준에 따라 달라질 수 있는 애매한 요소다. 공정성을 위해 고려해야 할 속성으로는 성별, 연령, 종교, 빈부, 지역, 장애, 학력, 정치적 성향 등이 있다. 이 속성은 보호변수에 따라 달라진다. 예를 들어 의사가 진료할 때 학력에 따라 차별되게 진료를 해서는 안 된다. 하지만 성별에 따라선 차별된 진료가 필요하다. 남성과 여성의 신체적 구조가 다르기 때문이다. 채용에서는 반대의 상황이 나타난다. 학력은 차별을 둬야 하지만, 성별은 차별을 둬선 안 된다. 이러한 요소 때문에 공정성을 평가할 때 그룹 공정성과 개별 공정성을 두지만 이마저도 완벽하진 않다.
AI 공정성은 업계에서 계속 고민돼 온 문제다. AI 공정성은 10여년 이상 연구된 역사가 있다. 컴퓨터 사이언스 하시는 분들의 연구 계보가 있다. 그만큼 해결하기 어려운 문제다.
Q. 카이스트 인공지능 공정성 연구센터는 AI 공정성에 어떻게 접근했나.
최근 코로나19 자가키트가 개발됐다. 확진자가 많아지고 감염 여부를 검사하는 사람이 많아지다 보니 이를 위한 도구를 개발한 것이다. MAF2022도 자가키트라고 보면 된다.
단, 자가키트에서 중요한 점이 있다. 오류가 적어야 하고 결과가 정확해야 한다. 그래서 우리는 기존에 있는 AI 공정성 진단시스템인 IBM의 'AIF360'과 MS의 'Fairlearn', 구글의 'What ifTool'보다 더 정확한 진단시스템을 개발하고자 했다.
Q. MAF2022가 IBM, MS, 구글 제품보다 보유한 알고리즘이 많은 것으로 알고 있다. 기존 제품보다 성능이 높다는 것은 이 알고리즘에서 나타나는 것인가.
MAF2022가 다른 시스템과 차별된 점 중 하나다. MAF2022가 보유하고 있는 알고리즘은 총 19개다. 프리프로세싱(Preprocessing) 단계에서 4개의 알고리즘을, 인프로세싱(Inprocessing) 과정에서 12개의 알고리즘을, 포스트프로세싱(Postprocessing) 단계에서 3개의 알고리즘을 제공한다. IBM의 'AIF360'(14개), MS의 'Fairlearn'(8개)보다 많다. 한 병원은 8개의 진단장비로 환자를 진단한다고 하면, 우리는 더 많은 19개의 장비로 환자를 더 세심하고 정확하게 진단할 수 있다고 보면 된다.
Q. 또 다른 장점은 무엇인가.
처리할 수 있는 데이터 종류가 다양하고 시각화 기능을 제공한다는 점이다. MAF2022는 정형데이터만 처리했던 기존 시스템과 달리 텍스트와 이미지, 동영상 등 비정형데이터를 처리할 수 있다. 또 테스트 결과를 시각화 하는 작업을 시스템 안에서 처리해준다. 기존 시스템의 경우 별도 시각화 도구를 활용해 작업해야 했지만 우리는 시스템 내에서 데이터 편향성, 예측 편향성을 다양한 형태로 시각화해준다. 그만큼 사용자 편의성이 높다고 볼 수 있다.
Q. 편향성은 AI 분야에서 계속된 문제였다. 그로 인해 'AI가 왜 그런 결과를 냈는지 설명해야 한다'는 '설명할 수 있는 AI'에 대한 요구가 많이 제기되고 있다. 이러한 분위기에서 MAF2022가 가진 의미는 무엇인가.
AI는 부분적으로 설명할 수 있지만 완벽히 설명할 수는 없다. 최근 AI에서 딥러닝 기술이 많이 활용되는데 딥러닝은 설명이 되지 않는다. AI를 아이라고 가정해보자. 아이한테 좋은 것만 보여주고 좋은 것만 지도했다. 그런데 그 아이의 머릿속에 정확히 무엇이 있는지 설명할 수 있을까? 갑자기 그 아이가 욕을 했다. 좋은 것만 가르쳤는데 왜 아이는 욕을 하게 됐는지 설명할 수 있을까? 이와 마찬가지다. AI가 학습하면 다양한 데이터를 보게 된다. 이 데이터가 어떻게 혼합돼 발현될지는 정확하게 설명하기가 불가능하다.
MAF2022는 적어도 여기서 테스트한 분야에서는 편향 문제를 발생시키지 않는다는 기준을 제시할 수 있다. "이 분야에서 AI는 공정해요"라고 확인할 수 있고, 사용할 수 있는 것이다.
Q. AI에 편향적 문제가 발생하는 이유는 무엇인가.
알고리즘을 만드는 것은 사람이고 AI가 학습하는 데이터도 사람에 의해 만들어진 결과다. 알고리즘을 설계하는 사람이 편향된 인식을 갖고 있다면 AI는 편향적이게 된다. 마찬가지로 학습하는 데이터가 편향된 데이터가 많다면 AI는 공정하지 않게 된다.
예를 들어 AI를 개발할 때는 워드 임베딩(Word embedding) 작업을 한다. 컴퓨터는 수식밖에 이해하지 못하니 사람의 말을 이해할 수 있게 글을 수치화하는 것이다. 이 작업에서도 편향성이 나타날 수 있다. 간호사를 입력할 때 작업하는 사람이 여자 간호사를 떠올리고 작업한다면 AI는 '간호사는 여자'라고 인식할 수 있다.
Q. AI 편향 문제를 줄이기 위해 사회적으로 관심가져야 할 부분은 무엇이라고 보는가.
AI 공정성을 판단하는 규제와 법안이 필요하다. 현재 우리나라에는 이러한 규제와 법안이 많이 부족하다. AI는 많은 부분이 오픈되어 있기 때문에 많은 기술이 중구난방으로 나올 수 있다. 그만큼 안전장치가 없으면 사회적으로 물의를 일으킬 가능성이 있으므로 법안 마련에 대한 고민이 있었으면 좋겠다.
Q. 개발은 언제부터 시작했나.
2019년부터다. 과기정통부의 혁신성장동력프로젝트(R&D) 중 하나로 시작했다. IBM AIF360, MS Fairlearn 등 기존 프레임워크를 조사하고 이보다 더 좋은 성능을 낼 수 있는 시스템을 만들고자 했다. 개발에 참여한 연구자만 100여 명이다. AI 공정성은 정말 전문가들만이 해야 하는 영역이라고 생각한다. 따라서 이러한 사람들로 팀을 이뤄 개발에 착수했다.
Q. 현재 MAF2022는 오픈소스로 공개된 상태인가.
부분적으로 오픈되어 있다. 올해 안으로 완전 오픈하는 것을 목표로 하고 있다. 이를 위해 계속 기술을 고도화해나가는 중이다.
Q. MAF2022 개발 후 계획은 무엇인가.
MAF2022는 이제 시작이다. AI 기술 속도는 상당히 빠르기 때문에 이를 위한 안전장치도 계속 발전해 나가야 한다. 컴퓨터 바이러스가 놀라울 속도로 발전하면서 백신 개발도 빠른 속도로 개발되고 백신 전문 회사가 생겨난 것처럼 MAF2022와 같은 안전장치도 계속 업그레이드돼야 한다. AI 분야의 공정성이 AI 기술 발전과 사회에 미치는 영향이 큰 만큼 관련 연구를 이어갈 계획이다.
유창동 카이스트 전기및전자공학부 교수는 국내에 처음 기계학습 강좌를 개설한 AI 전문가다. 미국 전기전자학회(IEEE) 기계학습 기술위원회 위원직과 아시아 컴퓨터 비전 컨퍼런스(ACCV) 의장직을 수행한 경험이 있다. 2017년부터 비디오 튜어링 테스트(VTT : Video Turing Test) 센터장으로 활동하며 범용 AI 기술개발을 이어왔고 2019년부터는 카이스트 인공지능 공정성 연구센터장을 맡아 AI 편향성 문제를 극복할 수 있는 방안을 연구해왔다. 현재 한국인공지능학회장으로 활동하고 있다.
AI타임스 김동원 기자 goodtuna@aitimes.com
Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지
[인터뷰] 유창동 카이스트 교수 "AI, 빠른 발전 속도만큼 안전장치 마련 시급" - AI타임스
카이스트 인공지능 공정성 연구센터(센터장 유창동)가 인공지능(AI)의 공정성을 진단하고 편향성을 교정하는 진단시스템 \'MSIT AI FAIR 2022(MAF2022)\'를 개발했다. AI 모델과 학습데이터의 편향성을
www.aitimes.com
'AI초대석' 카테고리의 다른 글
| [인터뷰] 김병수 로보티즈 대표 "로봇 개발, 시장이 원하는 서비스 트렌드 맞춰야" (0) | 2022.04.11 |
|---|---|
| [인터뷰] 김수찬 긱플러스코리아 총괄이사 "물류로봇 솔루션으로 한국 시장서 1등 하겠다" (0) | 2022.04.08 |
| [인터뷰] AI 활용한 신규 감염병 대응시스템 개발 시작..."보편적 거리두기 2m 한계 넘는다" (0) | 2022.01.27 |
| NeurIPS부터 ICML까지...올해 AI 국제 학회에서 주목받은 한국인 수학자 류경석 교수 (0) | 2021.12.02 |
| [AI북터뷰] “AI트랜스포메이션, 우리 기업도 정말 가능할까?”...‘AI 피보팅’ 저자 손진호 대표 인터뷰 (0) | 2021.11.03 |