스마트인재개발원 '브릿지' 팀, 청각장애인용 수어번역서비스 제안
AI 통해 코딩교육 영상을 수어로 변환…수어 영상과 자막을 동시에
코로나19에 따른 비대면 온라인 수업서 청각장애인 교육 환경 개선
"다양한 교육분야 적용 시 청각장애 학생들 진로 선택 폭 확대될 것"
| 【편집자주】 광주광역시 소재 스마트인재개발원은 4차 산업혁명 시대에 발맞춰 양질의 IT 전문인력을 양성하면서 '인공지능 중심도시' 광주의 AI 생태계 조성에 힘을 보태고 있다. 그동안 스마트인재개발원 교육생들은 국내 주요 해커톤 대회에서 잇따라 우승해 실력을 입증해왔다. 최근엔 인공지능‧빅데이터 분야 과정을 수료한 청년들이 최종 프로젝트 성과를 발표했다. Aidea 기획시리즈를 통해 이들의 기발한 아이디어들을 소개한다. |
| # 청각장애인인 대학생 A씨는 코로나19로 온라인 비대면 강의가 늘어나면서 전보다 수업을 이해하기가 더 힘들어졌다. 온라인 강의를 들을 때 보통 PPT만 크게 보이고 교수님의 얼굴은 화면 한쪽에 작게 나와 입모양이나 표정을 읽기 어렵기 때문이다. 사실 코로나 이전에 일부 대면 수업에서 수어 통역과 실시간 속기가 지원되기도 했으나 인력이 부족해 여의찮았다. 수어 없이 강의를 듣다 보면 수업 내용을 잘 이해하지 못하는 경우가 많아 답답했다. 그런데 최근 인공지능(AI) 기반의 청각장애인용 교육 영상 수어 번역 서비스를 이용하면서 수업을 이해하기가 한결 편해졌다. 로그인을 한 후 메인페이지에서 수어로 번역된 강의를 과목별로 선택할 수 있다. 수어 영상은 물론 자막도 함께 볼 수 있다. 원하는 교육 영상을 사이트에 업로드하기만 하면 수어 영상과 자막이 생성된다. 비장애인 학생이 듣는 강의를 수어 영상으로 들을 수 있어 전처럼 수업에서 소외감을 느끼는 일도 많이 줄었다. |
코로나19 사태와 같은 재난상황일수록 더욱 소외되는 청각장애인들의 교육 환경을 개선하기 위해 스마트인재개발원 학생들이 뭉쳤다. 코로나 장기화로 비대면 온라인 강의가 날로 늘어나고 있는 가운데 청각장애인을 위한 별도의 교육 서비스는 거의 제공되지 않아 장애 학생들이 어려움을 겪고 있다. 이에 스마트인재개발원의 '브릿지(BRIDGE)' 팀은 최근 인공지능(AI)을 기반으로 한 청각장애인용 코딩교육 영상 수어 번역 서비스를 제안했다.
청각장애인들의 소통에 있어 얼굴 표정과 같은 비수지(非手指) 기호는 매우 중요한 요소다. 그런데 대부분의 비대면 온라인 강의에서는 발표자가 나타나는 화면 크기가 작은 데다 마스크 착용으로 입모양과 표정을 알기 어렵다. 비장애인 학생들 위주로 이뤄지는 온라인 강의에서 청각장애인은 소외될 수밖에 없는 게 현실이다.
소프트웨어 교육이 의무화된 가운데 브릿지 팀은 청각장애인용 코딩교육 영상 수어 번역 서비스를 통해 청각장애 학생들도 비장애인과 마찬가지로 양질의 수업을 들을 수 있도록 돕겠다는 구상이다. 특히 한국어와 수어는 다른 언어체계를 갖기 때문에 한국 수어 어순으로 구성된 영상이 필요하다. 브릿지 팀의 서비스는 청각장애인이 원하는 코딩교육 영상을 수어 어순에 따라 변환한 수어 영상을 제공해준다.
이번 프로젝트에서는 서비스 대상을 코딩교육에 한정했으나 향후 다른 다양한 교육 영상에 접목할 수 있을 것으로 보인다. 이 같은 서비스가 다양한 교육분야에서 활용된다면 청각장애 학생의 진로 선택 폭이 훨씬 더 확대될 수 있을 것이라는 게 브릿지 팀의 설명이다. 또 특수학교 교육현장에서도 교사와 학생 간의 원활한 의사소통을 도울 수 있을 뿐만 아니라 문자를 수어 영상으로 출력하는 기능을 키오스크에 적용해 청각장애인들의 삶의 질을 더욱 높일 수 있을 것으로 기대했다. 브릿지 팀의 박민 팀장을 통해 해당 아이디어에 대한 이야기를 들어봤다.
Q. 아이디어를 고안하게 된 계기가 궁금합니다.
▶ 요즘 코로나 시기다 보니 강의를 들을 때 비대면 화상 수업 등이 많이 사용되고 있는데, 소리를 못 듣는 청각장애 학생은 어떤 방식으로 강의를 들을까 생각하다 이번 아이디어를 떠올리게 됐다.
일반적으로 청각장애인은 수어와 입모양·표정을 담은 구화, 필담 이렇게 세 가지 방식으로 소통을 한다. 그런데 코로나로 마스크를 쓰게 되면서 입 부분이 다 가려지다 보니 청각장애인들이 소통하는 데 굉장히 힘들다고 한다. 실제로 이 같은 어려움을 토로하는 청각장애 학생들의 글을 접하기도 했다.
요즘 많이 사용되는 줌(zoom)을 통한 온라인 강의의 경우 화면 공유를 한 채 수업이 진행되기 때문에 발표자 영상은 화면 한쪽에 굉장히 작게 뜨게 된다. 심지어 발표자의 마스크 착용으로 입모양과 표정을 알기 어려운 데다 별도의 수어 통역도 제대로 제공되지 않아 청각장애 학생들이 수업에서 많이 배제되고 있는 상황이다. 이에 이들에게 도움이 되고자 이번 아이디어를 고안하게 됐다.
Q. 아이디어에 대한 구체적인 설명 부탁드립니다.
▶ 우리 팀은 코딩교육 영상을 목표로 잡았다. 우선 코딩교육 영상에서 영상 음성을 텍스트로 추출을 한다. 그리고 해당 텍스트를 전처리한 후 수어 어순으로 재배치한다. 이어 재배치된 단어와 맞는 영상을 병합해 수어로 번역한 영상을 생성한 다음 이를 사용자에게 보여주는 서비스다.
이번 프로젝트를 진행하면서 '청각장애인에게 음성을 자막으로 바꿔 보여주면 되지 않냐'는 질문을 많이 받았다. 그런데 청각장애인을 대상으로 한 조사 자료들을 살펴본 결과 수어가 없는 수업의 경우 수업 내용의 절반 이상을 이해하기 힘들다는 응답이 많았다. 이에 우리 팀은 사람이 직접 표현한 수어 영상을 사용해 청각장애인의 소통에 도움이 되는 서비스를 만들고 싶었다.
이를 위해 AI 허브에 있는 수어 데이터셋을 활용했다. '테스트웍스'라는 기업이 제공한 AI 학습 데이터셋이었다. 교통이나 일상생활에 관련된 단어가 주를 이뤘기 때문에 추가적으로 국립국어원의 한국 수어 사전을 이용해 수어 영상들을 크롤링(웹사이트의 방대한 정보 가운데 특정 정보를 찾아 수집해 분석·축적하는 기법)했다. 여기에도 없는 수어 영상은 우리가 직접 촬영해 데이터셋을 구축했다.
Q. 프로젝트를 수행하는 과정에서 어려움은 없으셨는지요.
▶ 아무래도 우리가 수어 어순을 잘 모르다 보니 프로젝트를 진행하는 데 있어 어려움이 많았다. 그래서 농아인 협회에 자문을 요청드렸다. 일단 우리 팀이 임의로 만든 수어 어순 텍스트와 초기 영상을 보내드렸다. 협회는 한국 수어 사전에서 크롤링한 단어들이 맞는 단어기는 하지만 비수지 기호에 대해서는 부족한 부분이 있다는 피드백을 주셨다. 아직 체계가 제대로 잡혀있지 않고 관련 자료가 너무 부족하기 때문에 이 같은 점에서 어려움을 많이 느꼈다. 그렇기 때문에 더욱 더 청각장애인들을 위한 수어 변환 서비스의 필요성을 절감하게 됐다.
Q. 이번 성과가 향후 어떻게 활용될 수 있을지요?
▶ 가장 먼저 든 생각은 코로나19 사태와 같은 재난상황이 또 발생할 수도 있을 텐데 이러한 서비스가 청각장애인의 열악한 교육 환경을 좀 더 개선할 수 있지 않을까하는 것이었다. 원하는 영상을 수어로 확인할 수 있도록 한다면 교육의 질을 더욱 높일 수 있다고 생각한다. 현재로서는 코딩교육 영상만 대상으로 했지만 앞으로 다른 다양한 교육 분야에 해당 서비스가 접목된다면 청각장애인의 진로 선택 폭이 훨씬 더 넓어질 것으로 기대하고 있다.
또 아바타를 활용할 경우 표정을 잘 읽지 못할 수 있는데, 딥페이크 영상 기술과 접목시켜 좀 더 이해하기 쉬운 수어 영상을 생성할 수 있지 않을까라는 생각도 했다. 아울러 이번 프로젝트에서는 시간이 부족해 영상을 실시간으로 구현하지는 못했으나, 서비스 고도화를 통해 실시간 영상 생성이 가능해진다면 교육뿐만 아니라 긴급 재난 문자 변환 등 다양한 영역에서 광범위하게 활용될 수 있을 것이라고 생각한다.
Q. 향후 계획에 대해.
▶ 현재 다들 취업 준비와 여러 가지 상황으로 바쁘기 때문에 이번 프로젝트와 관련해서는 아직 팀원들과 상의를 해보지 못했다. 하지만 가능하다면 나중에 다시 모여 부족한 부분을 보완해 해당 서비스 아이디어를 발전시켜 나가고 싶다. 한정된 기간 내 프로젝트를 진행하다 보니 아무래도 관련 지식과 시간이 부족했다고 느꼈다. 그래서 나중에 기회가 된다면 팀원들과 함께 좀 더 개선된 서비스를 개발해 제공할 수 있었으면 한다.
Q. 마지막으로 강조하고 싶은 한 말씀.
▶ 이번 프로젝트로 청각장애인들이 처한 열악한 현실에 대해 다시 한 번 생각할 수 있는 계기가 됐다. 수어에 대해 공부하면서 서비스를 구현해가는 과정에서 여러 애로사항에 직면하다 보니 실제 청각장애인들이 겪고 있는 현실적인 어려움에 대해 알게 됐고 좀 더 사회적으로 개선됐으면 좋겠다고 느꼈다.
그리고 스마트인재개발원을 통해 비전공자지만 코딩 관련 언어들을 배우며 이러한 프로젝트를 진행할 수 있었다. 앞으로 코딩교육이 더욱 다양하게 활용될 수 있다는 점에서 많은 사람들이 이를 인지하고 배울 수 있었으면 좋겠다는 생각을 했다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com/)
무단전재 및 재배포 금지
[Aidea] ⑳ 코로나19로 늘어나는 비대면 수업…AI가 청각장애인 '귀' 역할 톡톡 - AI타임스
【편집자주】 광주광역시 소재 스마트인재개발원은 4차 산업혁명 시대에 발맞춰 양질의 IT 전문인력을 양성하면서 \'인공지능 중심도시\' 광주의 AI 생태계 조성에 힘을 보태고 있다. 그동안 스
www.aitimes.com
'생활 속 AI' 카테고리의 다른 글
| [Aidea] ㉑ "노마스크족 잡아라"…AI로 마스크 착용 감시부터 실내 적정인원 관리까지 (0) | 2022.03.10 |
|---|---|
| [AI와 주말 데이트] "출국 전 설렘, 스마트 기술로 되새길래?" (0) | 2022.03.08 |
| [Aidea] ⑲ "AI가 청각장애인들의 '입'과 '귀' 된다" (0) | 2022.03.02 |
| [Aidea] ⑱ "우리 댕댕이는 소중하니까"…AI로 반려동물 캐릭터화해 굿즈 제작까지 (0) | 2022.02.23 |
| [Aidea] ⑰ "외국인에겐 너무 어려운 한국어 발음? AI가 교정해 드립니다" (0) | 2022.02.21 |