AI 작곡가 이봄, 인간 창의성 돕는 방향으로 개발
인간 감정 상황 이해해 AI가 음악 생성
“AI와 협업한 새로운 창작이 보편화될 것”
이봄을 개발한 안창욱 광주과학기술원(GIST) 교수 겸 인공지능연구소장. /THE AI
“모방 창조에서 벗어나 AI 창의 창조 시대가 올 것입니다. AI가 사람의 감정과 상황을 이해해 음악을 만드는 수준까지 이르렀습니다.”
인공지능(AI) 작곡가 이봄(Evom)을 만든 안창욱 광주과학기술원(GIST) 인공지능대학원 교수가 5년 후 AI 작곡 분야 미래를 두고 한 말이다. 그는 “AI 작곡가가 기존 음악을 흉내 내는 ‘모방 창조가 아닌 작곡 이론과 사람의 감정, 상황까지 이해해 음악을 ‘만드는’ 방식에 가까워졌다”며 “현재 기업들이 저작권 문제에 벗어날 수 있는 방향으로 움직이고 있다”고 설명했다.
안 교수는 GIST 인공지능연구소장이자 AI 스타트업 크리에이티브마인드 대표로 진화 AI, 양자 기계학습 등 AI 분야를 연구해 온 전문가다. 2016년 AI 작곡 시스템 이봄을 개발해 주목받았다. 최근에는 양자 강화학습 연구와 미래 자율주행 상황에서 AI 음악을 소비할 수 있는 콘텐츠 연구도 현대자동차와 진행하고 있다.
그는 이봄의 작곡 능력을 바탕으로 여러 활동을 해왔다. 이봄은 단순히 데이터를 학습해 곡을 생성하는 AI가 아니다. 사람이 작곡을 배우는 것처럼 작곡 이론을 먼저 학습했다. 이봄은 음악 완성본뿐만 아니라 멜로디와 코드, 악기 구성 등을 창작자가 바꾸고 새롭게 만들 수 있도록 음악 소스 파일을 함께 제공한다. 사용자는 이를 기반으로 곡을 편곡하고 가사를 바꾸며 자신의 스타일로 재창작할 수 있다. 안 교수는 “창작자의 감성을 보조하고 새로운 가능성을 확장하는 방향 개발을 추구한다”고 설명했다.
현재 그는 자율주행, 공간음향, 가상 공연 등 미래 환경과 일상생활에서 AI 음악이 실시간 맞춤 콘텐츠로 발전할 가능성에 주목하고 있다. “AI는 예술을 대체하는 존재가 아니라 누구나 음악을 창작할 수 있는 파트너로 자리매김할 것”이라며 “AI 작곡이 대세가 되기보다 전문가가 이를 활용하는 것을 넘어 누구나 쉽게 음악을 만들어 판매하고 즐길 수 있게 될 것”이라고 강조했다.
음악 창작에 있어서 AI가 빠르게 발전하고 있다. 그는 “2~3년 전에는 불가능했던 ‘영감’이나 ‘감정’까지 AI가 파악해 감성적인 작곡을 하고 있다”며 “멀티모달 AI 기술을 발달로 사람들이 느끼는 슬픔을 동조하는 것이 아니라 슬픔을 위로하면서 감정까지 조절할 수 있도록 도와주는 음악 생성도 가능하다고 보고 있다”고 전망했다. 그와 다가올 미래에 대해 자세한 이야기를 나눠봤다.
이봄이 탑재돼 공간 음악을 연주해주는 AI 피아노. /안창욱 교수
- AI 작곡가 이봄을 처음 개발하시게 된 계기와 기존 AI 작곡 시스템과 차별점은 무엇인가.
“컴퓨터 과학 분야에서 알고리즘으로 음악을 만드는 데 관심이 많았다. 학교에 임용된 후 해보고 싶은 연구를 시작했다. 음악에 대한 호기심과 학생들과의 의기투합으로 자연스럽게 개발이 시작됐다. 이봄은 10년 넘게 연구해온 결과다. 이봄은 데이터 학습 기반이 아닌 음악 이론과 작곡 지식 기반으로 시작했다. 기존 AI 작곡 시스템은 많은 곡 데이터를 학습해 생성하지만, 이봄은 이론 중심으로 설계돼 저작권 문제를 피하고 편집 가능한 소스 파일을 제공해 사용자가 추가 창작을 할 수 있다. 이봄은 현재 약 80만 곡을 작곡했다.”
- 지난 8월 영화 ‘말할 수 없는 비밀’의 피아노 배틀 장면을 AI로 완벽히 재현해 화제를 모았다. 당시 기술적 도전과 구현 과정에서 가장 어려웠던 점과 인상 깊었던 점은 무엇인가.
“AI가 피아노 배틀을 완벽하게 자동으로 주고받는 구조는 아니었다. 인간이 개입했다. 이봄이 한 곡을 작곡하고, 사람이 주고받는 구조를 설계했다. 현재 기술로는 상대방 피아노를 실시간으로 인식해 반주하거나 상호작용하는 수준은 아니지만 외관상 그렇게 보이게 연출했다. 어려웠던 점은 완전 자동화의 한계였고 인상 깊었던 점은 과대평가될 정도로 사람들의 반응이 좋았다는 것이다. 이 작업으로 AI의 잠재력과 실용성을 보여주고 싶었다.”
- 앞으로 음악 창작에 있어 AI가 작곡가와 어떻게 공존하고 협업해 나갈 수 있다고 보나. AI는 ‘영감’이나 ‘감정’까지도 다룰 수 있을까.
“2년 전만해도 이 질문에 ‘아니다’라고 답했을 것이다. AI를 연구하는 사람들의 생각보다 AI 발전 속도가 빠르다. AI는 이미 작곡가와 협업해 소스를 제공하는 수준에 이르렀다. 작곡가들은 AI를 보조 도구로 활용해 창작을 풍성하게 하고 이를 선택하지 않는 작곡가도 본인만의 방식으로 활동할 수 있다. 현재 AI는 입력된 감정 정보를 반영해 곡을 만들 수 있다. 예를 들어 ‘슬프다’는 입력에 맞춰 위로하는 곡을 쓸 수 있다. 미묘한 감정까지 완벽히 인식하는 기술은 아직 부족하지만 발전하면 사람처럼 감정을 이해하고 표현할 수 있을 것이다.”
- AI가 인간의 고유 영역이었던 예술 분야에서 활약하고 있다. 이러한 세계에서 AI의 창조성에 대해 어떻게 생각하나.
“AI의 창조성은 ‘모방 창조’와 ‘창의적 창조’로 나눌 수 있다. 현재 대부분 AI는 기존 데이터를 학습해 모방 창조를 하지만 이봄은 지식 기반으로 창의적 창조를 지향한다. 인간은 지식과 세계관으로 새로운 장르를 만들듯 AI도 추론과 교육을 통해 창의적으로 발전할 가능성이 있다. 현재 AI는 모방 중심이지만 창의적 창조로의 전환이 진행 중이다.”
- AI 창작자 시대가 지금 시작됐다고 오나. 아니면 미래의 일이라고 생각하나.
“전문가가 AI 기술이나 서비스를 이용해 창작하고 이를 유통해 돈을 버느 시대가 왔다. 하지만 일반인이 소비할 수준의 퀄리티는 아직 도달하지 않았다. AI 도구는 창작 활동에서 보조 도구로 활용되며 돈을 주고 살 정도의 완성도는 아직까지 전문가의 가공이 필요하다. 일반인까지 확대되려면 시간이 더 걸릴 것이다.”
AI스타트업 ‘크리에이티브마인드’연구원이 이봄으로 음악을 작곡하는 모습. /THE AI
- 인간 예술가의 역할이 변화할 것이라고 보나.
“인간 예술가의 역할은 변화가 아니라 선택의 문제다. AI를 활용해 효율적으로 창작하는 예술가와 전통 방식을 고수하는 예술가가 공존할 것이다. AI 협업을 하지 않아도 창의력을 발휘하며 활동할 수 있다. 이는 개인 작곡가의 철학과 스타일에 달렸다.”
- 현재 작곡가들이 AI에 대한 어떤 인식 변화가 필요할까.
“인식 변화는 이미 일어났다. 몇 년 전엔 작곡가들 대상으로 AI 활용을 강조했지만 이제 작곡가들은 AI 시대를 인식하고 협업하거나 독자적 창작을 선택하고 있다. 역량에서는 음악적 감각이 중요하다. 대중성과 예술성을 캐치하는 능력은 타고나는 면이 크지만 후천적 교육으로도 개발 가능하다. AI가 곡을 제공해도 이 곡이 성공할 곡인지를 선별하는 것은 인간의 몫이고 결과도 예측이 쉽지 않다. 그렇기에 인간만이 느낄 수 있는 감각이 중요한 것이다.”
-인간과 AI 협업으로 탄생하는 작품들이 예술계를 어떻게 변화시킬 것이라고 생각하나.
“콘텐츠가 풍성해질 것이다. 국악처럼 침체된 장르를 활성화하고, 누구나 곡을 만들어 유통하며 새로운 장르를 개척할 수 있다. 공연도 다양해져 자동 연주와 결합한 새로운 볼거리가 생길 것이다. 예술계는 더 다채롭고 접근성이 높아질 것이다.”
- AI 작곡가 ‘이봄’이 최근 ‘스트레인저’ 뮤직비디오를 공개하며 본격적인 아티스트 활동을 선언했다. 기술이 아닌 ‘창작자’로서 이봄의 등장은 어떤 의미를 담고 있나.
“이봄을 가상 인간으로 페르소나를 구축해 사용자와의 거리를 좁히고 친화적으로 다가가려는 시도다. 소프트웨어만 보여주는 것보다 실체를 부여해 사람들이 더 몰입하고 받아들이기 쉽게 만들었다. 효과는 확실히 있다.”
AI작곡가‘이봄(EvoM)’의 메인서버 모습. /THE AI
-이봄은 기존 음악을 학습하지 않아 표절·저작권 이슈를 피해갈 수 있는 AI 작곡가로도 알려져 있다. 창작에서 저작권, AI 윤리에 대해 어떤 책임을 물어야 된다고 생각하나.
“이봄은 자체 제작 베이스 곡(10~50곡)을 사람이 만들어 학습하며, 많은 곡이 필요 없어 저작권 이슈에서 자유로운 편이다. 기존 AI는 수십만 곡을 학습해 미국에서는 AI 음악 생성 업체들이 소송을 하고 있다. 윤리적 책임은 학습 데이터의 출처를 명확히 하고, 표절을 피하는 방향으로 가야 한다.”
- AI가 예술의 영역에 깊이 침투하면서 ‘예술의 주체는 누구인가’라는 질문이 다시 떠오르고 있다.
“단순히 프롬프트 입력으로 AI가 만든 곡은 예술 주체로 보긴 어렵다. 하지만 이봄처럼 사용자가 편집 가능한 결과물을 받아 가공하면 그때는 사용자가 주체가 될 수 있다. 전문가는 AI를 보조로 활용해 주체성을 유지해 곡의 저작권을 확보할 수 있다.”
-지금 진행 중인 연구가 AI 기술의 발전에 어떠한 기여를 하게 될 것으로 기대하나.
“양자 강화 학습으로 학습 속도를 높이고 자율주행 차량 내 AI 음악 맞춤 콘텐츠를 제공할 수 있다. 실시간 공간 음악을 만들어 공공장소, 일상생활에서 환경과 사람과 소통하는 음악들이 자연스럽게 나올 수 있다. AI로 공간 음향이 혁신될 것이다.”
- 1~2년 내에 AI 작곡 분야에서 AI 기술은 어떤 방향으로 발전할 것으로 예상하나.
“AI 작곡 기술은 거의 성숙 단계에 도달했다. 기술적 발전보다는 활용이 관건이다. 곡의 히트칠 가능성을 예측하는 기술 정도가 추가될 수 있다. 큰 기술적 변화보다는 서비스 완성도가 높아질 것이다.”
- 더 나아가 향후 5년 AI 작곡 기술이 어떻게 진화할 것으로 전망하나. 이에 맞춰 준비하고 계시거나 특별히 연구적으로 관심을 두고 계신 점이 있다면.
“5년 후엔 AI 작곡가가 집, 차, 사무실 등에 녹아들어 사용자의 기분에 맞춘 음악과 복합 콘텐츠가 자동 제공될 수 있다. AI 에이전트와 결합해 서비스 완성도가 높아질 것이다.”
-최근 AI 기술의 격차를 초래할 수 있다는 우려가 있다. 이에 대비하기 위해 미리 준비해야 할 점은 무엇이라고 생각하나.
“AI는 승자독식이 심화될 것이다. 연구자는 대형 AI 모델이나 범용인공지능(AGI) 추격보다 특화된 특정 장르 혹은 전문 분야에서 소규모 AI를 개발해야 한다. 예술 AI는 격차보다 다양성이 커질 것이며 사용자는 목적에 맞게 활용하는 능력이 중요해질 것 같다.”
- 작곡에서 AI를 활용할 때 주의점이 있다면.
“AI는 심리적 장벽이 있지만, 사용하면 새로운 세상이 열린다. 다만 과도한 의존은 창의성을 떨어뜨릴 수 있으니 경계선을 잘 지켜가면서 사용해야 한다.”
