스마트인재개발원 '아이마스' 팀, AI 보컬 트레이너 제안
딥러닝 기술 활용해 개인 맞춤형으로 발성 교정 돕는다
음성인식·안면인식 기능 탑재해 발성·발음 정확성 높여
"향후 음치·박치 클리닉 등 다양하게 활용될 수 있을 것"
| 【편집자주】 광주광역시 소재 스마트인재개발원은 4차 산업혁명 시대에 발맞춰 양질의 IT 전문인력을 양성하면서 '인공지능 중심도시' 광주의 AI 생태계 조성에 힘을 보태고 있다. 그동안 스마트인재개발원 교육생들은 국내 주요 해커톤 대회에서 잇따라 우승해 실력을 입증해왔다. 최근엔 인공지능‧빅데이터 분야 과정을 수료한 청년들이 최종 프로젝트 성과를 발표했다. Aidea 기획시리즈를 통해 이들의 기발한 아이디어들을 소개한다. |
| # 직장인 A씨는 음치인 탓에 노래방에 가기를 끔찍이 싫어했다. 회식 자리에서 누가 노래를 시키기라도 하면 달아나기 일쑤였다. 분위기를 망칠 수 없어 하는 수 없이 마이크를 잡아야 할 때면 부르는 A씨도 힘들지만 듣는 동료들도 괴롭기는 마찬가지. 막상 혼자서 노래 연습을 해보려 해도 쉽지 않은 데다 실용음악학원을 다니자니 비용도 시간도 여의치 않았다. 그런 A씨의 노래 실력이 최근 일취월장한 것은 인공지능(AI) 보컬 트레이너 덕분이다. 스마트폰만 있으면 앱에서 언제 어디서나 개인 맞춤형으로 발성 연습을 할 수 있어 편하다. 카메라를 통한 안면인식 기능으로 올바르게 발성을 하고 있는지 확인할 수도 있다. 그동안 훈련했던 기록을 저장해 피드백을 받아 체계적으로 실력을 향상시킬 수 있다. 이제 좋아하는 노래를 남들 앞에서도 당당하게 부를 수 있을 만큼 자신감을 회복한 A씨다. |
음치 탈출을 꿈꾸는 이들을 위해 스마트인재개발원 학생들이 머리를 맞댔다. 사실 유튜브 영상을 보면서 독학으로 노래를 연습하려고 하면 어려운 점이 한두 가지가 아니다. 그렇다고 학원에 가서 오프라인 수업으로 배우자니 부끄럽기도 하고 금전적·시간적 부담도 발목을 잡는다. 이에 스마트인재개발원의 '아이마스(AI-Master)' 팀은 딥러닝 기반 실시간 보컬 트레이닝 애플리케이션(앱) 서비스인 'VAM(Vocal AI Master)'을 제안했다.
혼자서 발성 연습을 할 경우 현재 자신이 올바른 자세로 연습을 하고 있는지를 알기 어렵다. 헬스 트레이닝처럼 발성·노래 연습도 트레이너가 직접 교정해주지 않으면 근육과 성대에 무리가 갈 위험이 있다. 아이마스 팀은 이 같은 문제 의식에서 출발해 '인공지능(AI) 보컬 트레이너'를 통한 발성 교정 서비스를 제공하고자 했다.
AI 보컬 트레이너 서비스를 구현하기 위해 아이마스 팀은 앱의 음성인식 기능으로 음의 높낮이(음정)와 음의 간격(박자), 발음의 정확성 등을 학습시켰다. 또 안면인식 기능을 활용해 발음하는 입의 모양과 성대의 움직임, 턱의 위치, 광대 부분의 움직임 등을 학습할 수 있도록 설계했다. 아울러 딥러닝 기술로 다양한 기준에 따른 옳은 소리와 잘못된 소리를 반복 학습시켰다는 게 팀의 설명이다.
사용자의 음성만을 인식하는 기존 유사 서비스와는 달리 아이마스 팀에서 제안한 서비스는 안면인식 기능이 탑재돼 사용자의 표정과 발음하는 모습까지 측정해주기 때문에 보다 정확한 자세로 연습하도록 돕는다. 아이마스 팀은 향후 이 같은 서비스를 좀 더 고도화한다면 사용자 수요에 따라 음치·박치 클리닉은 물론 성악·뮤지컬 등 다양한 음악 교육과정에도 도입할 수 있을 것으로 기대했다. 아이마스 팀의 이수환 팀원에게 해당 아이디어에 대한 이야기를 들어봤다.
Q. 아이디어를 고안하게 된 계기가 궁금합니다.
▶ 프로젝트 주제를 고민하던 기획 단계에서 팀원들과 다양한 의견을 모았다. 브레인스토밍 과정에서 3가지 아이디어로 좁혀졌는데, 그중 하나는 타인의 도움을 꽤 많이 필요로 하는 주제라고 생각해 배제했다. 또 다른 주제는 방향성과 시장성을 고려했을 때 큰 메리트가 없다고 판단했고 결국 '딥러닝 기반 보컬 트레이닝 애플리케이션'을 주제로 선정했다.
이번 발표에서 우리 팀이 준비한 AI 보컬 트레이너 앱 서비스는 음성 데이터를 다룬다는 점에서 스마트인재개발원에서 배웠던 항목은 아니었지만 공부해볼 수 있는 좋은 기회라고 생각했다. 고객의 니즈 관점에서 바라보았을 때 '이런 게 있으면 좋겠다' 싶어서 도전하게 됐다.
Q. 아이디어에 대한 구체적인 설명 부탁드립니다.
▶ 코로나 시국으로 인해 비대면이 유행하는 가운데 AI 보컬 트레이너 앱 서비스는 노래에 관심있는 사람 누구나 스마트폰만 있으면 학원을 다니지 않아도 발성 훈련을 할 수 있도록 도와주는 서비스다. 시간적인 여유가 부족한 직장인은 물론 금전적인 부담을 느끼는 학생에게도 노래를 배우기 위해 학원에 등록하기란 쉽지 않다. 이러한 애로사항을 해결하면서 앱 하나로 보다 쉽고 편리하게 접근할 수 있다는 것이 우리 서비스만의 강점이다. 음성을 인식해 사용자에게 코칭해주는 다른 유사 서비스들을 찾아보기 힘들었기 때문에 유일무이한 서비스라고 생각한다.
사용자는 앱을 이용해 우리가 학습시킨 AI와 훈련하게 된다. 그전에 AI가 원활한 보컬 트레이닝을 할 수 있도록 훈련을 시켜야 한다. 먼저 온라인 발성 강의 영상 데이터를 최대한 무차별 수집했다. 수집한 데이터들을 일일이 분류하는 작업도 필요했다. 예를 들어 발성을 구분 지을 수 있는 소리들 즉 남자·여자의 음성, 저음과 고음, 좀 더 세부적으로 나아가 호흡이 충분하지 않은 소리와 충분한 소리, 콧소리 유무, 성대에 불필요한 힘을 들였는가 여부 등에 따라 분류했다.
분류한 데이터들을 AI에 학습시키기 위해 각기 다른 데이터 크기와 재생시간을 2초 간격으로 균일화시키는 작업도 진행했다. 준비한 데이터를 안드로이드 스튜디오에서 서비스할 앱 내에 마운트했고, 전면 카메라 기능 안에 탑재했다. 음성인식이 잘 된다는 것을 확인한 후 사용자의 편의를 위해 간단한 앱 디자인으로 개발을 마쳤다.
Q. 프로젝트를 수행하는 과정에서 어려움은 없었는지요.
▶ 시간이 굉장히 부족했다. 음성 데이터를 다루는 것에 대한 수업을 받지 않았을 뿐더러 해당 정보를 구글링해 찾아보기가 힘들었다. 관련 정보도 별로 없었고 있더라도 몇 안 되는 논문마저 영어로 된 것들이 많았기 때문이다. 또 우리 팀이 앱 개발 수업 에서 학습한 언어는 자바(Java)였는데, 구글링을 통해 찾아봐야 하는 정보는 대부분이 코틀린(Kotlin) 언어로 되어 있는 코드였다. 그래서 새롭게 코틀린에 관한 공부도 해야 했다.
Q. 이번 성과가 향후 어떻게 활용될 수 있을지요?
▶ 우리의 서비스는 사용자가 목소리를 올바르게 내면서 노래를 잘 부를 수 있도록 돕는다. 앱 업데이트를 통해 본인이 음치·박치라고 생각하는 사용자에게 적합한 클리닉 서비스를 제공할 수 있다. 한발 더 나아가 음성 데이터를 잘 다룰수만 있다면 해당 기능을 활용할 수 있는 범주는 무궁무진하다고 생각한다. 청각장애인이 발음과 노래를 훈련하는 서비스 같은 것도 생각해볼 수 있겠다.
Q. 향후 계획에 대해.
▶ 두 번의 프로젝트 과정에서 프론트 역할로 웹과 앱 개발을 해봤다. 개인적으로는 앱 개발에 좀 더 흥미를 느껴 앞으로 이쪽 방향으로 도전하지 않을까 싶다. 최종 프로젝트 때 다 하지 못했던, 또 알지 못했던 음성 데이터와 코틀린에 대해 아쉬움이 남아 더 깊이 공부해보고 싶다.
Q. 마지막으로 강조하고 싶은 한 말씀.
▶ 교육과정에서 중요한 것은 예습보다 복습이라고 생각한다. 전공자도 있겠지만 나처럼 비전공자 같은 경우 코드에 익숙해지기 쉽지 않다는 것을 잘 안다. 하지만 이는 끊임없는 복습과 함께 코드를 마주해보는 시간이 길어질수록 익숙해진다. 코드를 완벽히 이해한다기보다 친해져가는 과정이 중요하다고 생각하기 때문에 그날 배운 수업 내용을 바로 되짚어보는 시간만 가진다면 훨씬 수월하게 교육과정을 마칠 수 있을 것 같다. 스마트인재개발원에서 공부하는 모든 후배 교육생들에게 화이팅을 보낸다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지
[Aidea] ㉒ "AI 보컬 트레이너와 함께 음치 탈출" - AI타임스
【편집자주】 광주광역시 소재 스마트인재개발원은 4차 산업혁명 시대에 발맞춰 양질의 IT 전문인력을 양성하면서 \'인공지능 중심도시\' 광주의 AI 생태계 조성에 힘을 보태고 있다. 그동안 스
www.aitimes.com
'생활 속 AI' 카테고리의 다른 글
| [Aidea] ㉔ 짙어진 코로나 블루…AI가 일기 분석해 마음 건강 챙긴다 (0) | 2022.03.31 |
|---|---|
| [Aidea] ㉓ "내 MBTI 맞는 반려식물은?"…AI가 식물 추천부터 성장 관리까지 (0) | 2022.03.24 |
| [Aidea] ㉑ "노마스크족 잡아라"…AI로 마스크 착용 감시부터 실내 적정인원 관리까지 (0) | 2022.03.10 |
| [AI와 주말 데이트] "출국 전 설렘, 스마트 기술로 되새길래?" (0) | 2022.03.08 |
| [Aidea] ⑳ 코로나19로 늘어나는 비대면 수업…AI가 청각장애인 '귀' 역할 톡톡 (0) | 2022.03.03 |