통합 검색어 입력폼

악기를 연주하는 인공지능 로봇 밴드 '시몬' 탄생

조회수 2020. 6. 16. 08:29 수정
번역beta Translated by kaka i
번역중 Now in translation
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 다양한 분야의 재밌고 유익한 콘텐츠를 카카오 플랫폼 곳곳에서 발견하고, 공감하고, 공유해보세요.

조지아공대 '길 와인버그(Gil Weinberg)' 연구팀이 개발한 마림바 연주 로봇
출처: Shimon Robot

마림바를 수준급으로 연주하는 인공지능 로봇!

2020년 3월 20일, 일본 NTT 도코모가 개최한 특별한 클래식 공연 '마하 스피드 오케스트라'에서 '알터3(Alter3)'라는 로봇 지휘자가 사람 못지 않게 요한 제바스티안 바흐(Johan Sebastian Bach)의 유명한 ‘G선상의 아리아(Air on the G String)’를 연주한 바 있다.


이제 인공지능 기술과 5G 통신기술의 발달로 로봇이 사람처럼 스스로 생각하고 신속하게 대응하는 게 가능한 시대이다. 그 영역은 산업 현장을 넘어 우리 인간 삶의 영역으로 깊숙히 들어와 있다. 심지어 신이 인간에게 선물로 주었다는 음악의 영역까지 로봇이 침범(?)하고 있다.


최근 조지아공대 '길 와인버그(Gil Weinberg)' 교수가 이끄는 로봇 연구팀이 개발한 마림바 연주 로봇 '시몬(Shimon)'이 많은 주목을 받고 있다. 유튜브 영상을 보면 시몬 로봇이 마림바를 수준급으로 잘 다루는 모습을 확인할 수 있다. 

출처: Shimon Robot

시몬 로봇에는 'BLDC모터(Brushless DC Motors)'가 새롭게 탑재되어 훨씬 넒은 움직임을 구현함과 동시에 이를 제어하는 것을 가능케 해준다. 시몬은 업그레이드된 하드웨어 덕분에 초당 30회 정도로 빠른 동작을 구현할 수 있으며, 소프트 다이나믹 레인지(Soft dynamic range)와 스트롱 다이나믹 레인지(strong dynamic range)를 모두 연주할 수 있어 음악적 표현력도 좋아졌다.


시몬 로봇은 단순히 악기 연주 로봇으로만 안다면 큰 오산이다. 작사와 작곡, 심지어 노래까지 부르는 등 만능 싱어송 라이터라고 해도 손색이 없을 정도다. 최근 공개된 영상을 보면 사람과 랩 배틀까지 즉흥적으로 수행하는 것을 볼 수 있다. 

출처: Shimon Robot

악기 연주, 작사와 작곡, 심지어 노래까지 부른다!

시몬의 작사 능력은 딥러닝 및 머신러닝 알고리즘이 적용됐다. 이때 의미론적인 지식(Semantic Knowledge)이 결합되는데 여러 단어 중 무엇이 적합한지를 결정해 그 결과를 바탕으로 가사를 쓴다.


예들 들어 '폭풍(storm)'이라는 단어가 주어지면 '비(rain)'와 같은 관련 단어들을 모아 가사를 쓴다. 연구팀은 재즈·프로그레시브 락·힙합 등에서 추출한 5만개의 가사 데이터 세트를 시몬에게 훈련시켰다.

출처: Shimon Robot

또한 연구팀은 수백곡을 학습한 딥러닝 기반 음성 합성기를 사용해 시몬에게 바르셀로나의 'Pompeu Fabra University'의 공동 작업자가 만든 독특한 목소리를 만들어주었다.


최근 연구팀은 시몬이 밴드의 도움을 받아 직접 노래하고 작사까지 한 ‘마음 속으로(Into Your Mind)’라는 곡을 발표했다. 이 로봇이 참여한 다른 곡들은 올봄 스웨덴 음악 스트리밍 사이트인 '스포티파이(Spotify)'를 통해 공개됐다.

출처: Shimon Robot

시몬은 음악을 연주하면서 사람들에게 감정을 전달하고 밴드와 소통하기 위해 마치 사람처럼 자신의 입·눈썹·머리를 움직인다. 또 밴드에게 노래가 시작한다는 신호를 보내거나 타악기용 채로 음악에 맞춰 흐느적거리는 등 사람의 감정까지 이입된 듯한 모습을 보여주고 있다. 시몬이 앞으로 어떻게 더 진화된 뮤지션으로 변화할 지 계속 지켜보기 바란다.

이 콘텐츠에 대해 어떻게 생각하시나요?