“AI 모션에 감정과 의도를 더한다”
GIST, 애니메이터 맞춤형 저작 도구 ‘MoWa’ 개발
- AI융합학과 김승준 교수 연구팀, AI와 전문가 협력으로 감정 표현과 동작 의도성 세밀하게 조정할 수 있는 혁신적 아바타 모션 편집 시스템 ‘MoWa’ 공개
- AI 생성 모션의 한계 극복하고, 직관적 제어와 애니메이션 원리에 기반한 표현력 극대화로 제작 효율성 증대… 세계적 AI 학술대회 ‘CHI 2025’에서 4월 30일 발표
▲ (왼쪽부터) 김승준 교수, 오정석 박사과정생
최근 생성형 AI는 사실적인 동작을 만드는 데에는 성과를 내고 있지만, 전문 애니메이터들이 중시하는 감정 표현이나 동작의 의도성 측면에서는 여전히 아쉬운 점이 있다.
광주과학기술원(GIST, 총장 임기철)은 AI융합학과 김승준 교수와 오정석 박사과정생이 생성형 AI로 만든 아바타의 모션을 보다 정교하게 수정·보완할 수 있는 저작 도구 ‘MoWa(Motion Waveform Authoring Tool)’를 개발했다고 밝혔다.
▲ MoWa 시스템 개요. MoWa는 생성형 AI로부터 생성된 모션 애니메이션을 입력으로 받아, 잠재 공간에서 디자이너의 의도에 따라 이를 조정함으로써 모션을 정밀하게 보정하는 시스템이다.
MoWa는 전문 애니메이터의 창작 과정에 적합한 도구로, AI가 생성한 기본 모션에 디자이너가 의도한 감정 표현과 움직임의 의미를 덧입힐 수 있도록 돕는다. 반복 작업을 줄이고 전체 제작 효율을 높일 수 있어 실용성 면에서도 기대를 모은다.
이 시스템은 텍스트 기반 명령어로 생성된 아바타의 동작을 ‘잠재 공간(latent space)’에서 파형(waveform)으로 시각화하고, 사용자가 이를 직관적으로 조작할 수 있도록 설계됐다.
사용자는 간단한 UI를 통해 모션의 ‘anticipation(예비 동작)’, ‘exaggeration(과장)’, ‘arc(곡선 동작)’ 같은 표현 요소를 손쉽게 조절하고 강화할 수 있다.
▲ 아바타 모션 애니메이션 보정. MoWa의 사용자 인터페이스는 텍스트 기반 모션 생성 모델을 활용해 다양한 모션 디자인을 탐색할 수 있도록 지원하며, 생성된 모션에 대해 애니메이션 원리에 기반한 조정이 가능하도록 구성되어 있다. 사용자는 간단한 슬라이더 조작을 통해 모션의 표현력을 보완할 수 있으며, 타임라인 인터페이스를 통해 모션을 재생·일시정지하거나 키프레임을 자유롭게 추가 및 편집할 수 있다.
MoWa 개발의 출발점은 text-to-motion 기술의 한계에서 비롯됐다. 연구팀은 6인의 전문 애니메이터와 함께 형성적 연구*를 수행한 결과, 기존 AI 생성 모션이 애니메이션의 핵심 원리(예비 동작, 과장, 곡선 동작 등)를 충분히 반영하지 못한다는 점을 반복적으로 확인했다.
이를 해결하기 위해 연구팀은 VAE(변분 오토인코더)*를 활용해 잠재 공간에서 파형을 편집할 수 있는 알고리즘을 개발했다.
* 형성적 연구(formative study): 문제나 현상을 깊이 이해하고 이후 연구나 개입을 설계하기 위한 초기 단계의 탐색적 연구로, 사용자 경험(UX), 교육학, 보건학, 디자인 연구 등 실천적 분야에서 중요하게 사용된다.
* VAE(Variational AutoEncoder, 변분 오토인코더): 입력 데이터를 효율적으로 압축하면서도, 이를 바탕으로 새로운 데이터를 생성할 수 있는 딥러닝 기반 생성 모델(generative model)이다.
사용자는 키워드를 입력해 기본 동작을 생성한 뒤, 슬라이더나 2D 키프레임 에디터를 활용해 모션을 세밀하게 조정할 수 있다.
실제 공간이 아닌 잠재 공간에서 곡선 형태의 파형을 조정하는 방식이기 때문에, 보다 정밀하고 직관적인 보정이 가능하다. 또한 게임 엔진 유니티(Unity) 기반으로 구현된 UI 덕분에 상용 3D 툴에 익숙한 사용자라면 별다른 학습 없이도 쉽게 사용할 수 있다.
연구팀은 12명의 전문 애니메이터를 대상으로 두 차례 사용자 연구를 진행해 MoWa의 실효성을 검증했다.
첫 번째 실험에서는 기존 텍스트 기반 모션(text-to-motion) 결과와 MoWa를 통해 수정한 결과를 비교했다. 참여자들은 MoWa를 활용해 더 다양한 동작을 빠르게 생성할 수 있었고, 표현력과 결과물에 대한 만족도 모두 높은 것으로 평가했다.
두 번째 실험에서는 기존의 인페인팅* 방식, 수작업 편집 방식, MoWa 방식을 비교했다. 그 결과, MoWa가 가장 효율적이고 애니메이션 디자인 원리에 기반한 편집이 가능하다는 점에서 긍정적인 평가를 받았다.
* 인페인팅(Inpainting): 이미지나 영상에서 손상되거나 결손된 부분을 주변 정보를 활용해 자연스 럽게 복원하는 기술이다. 원래는 미술 작품 복원에서 유래한 개념으로, 현재는 디지털 이미지 처 리와 컴퓨터 비전 분야에서도 널리 사용된다.
▲ 전문가 디자이너 대상 사용자 평가 결과. 본 연구에서 개발된 시스템을 전문가 및 초보자 디자이너가 이용했을 때 더 좋은 디자인을 적은 시간과 노력으로 제작할 수 있었다.
김승준 교수는 “MoWa는 단순히 AI가 자동으로 생성한 모션을 활용하는 수준을 넘어, 전문가가 직접 개입해 표현력을 세밀하게 다듬을 수 있는 ‘협력형 AI 도구’의 새로운 가능성을 보여준다”고 말했다. 이어 “이번 연구는 생성형 AI가 전문 디자인 작업에 실질적으로 통합될 수 있다는 점을 입증했으며, 앞으로 AI 기반 애니메이션 저작 도구 설계에 있어 중요한 방향성을 제시할 수 있을 것”이라고 강조했다.
GIST AI융합학과 김승준 교수가 지도하고 오정석 박사과정생이 수행한 이번 연구는 문화체육관광부 콘텐츠원천기술개발사업 및 GIST-MIT 공동연구과제 ‘인간중심 물리 시스템 설계를 위한 HCI + AI 융합연구’, ‘인공지능 기반 메타버스 구현을 위한 융합형 문화 가상 스튜디오’, ‘현실과 가상 간 체화(embodiment)를 위한 소프트 로보틱스 및 감각지능 기반의 actuated XR 시스템 개발 연구’의 지원을 받아 수행되었다.
이번 연구 결과는 인간-컴퓨터 상호작용(HCI) 분야 세계 최고 권위 학술대회인 ‘CHI 2025’에서 4월 30일 발표될 예정이다.
한편, AI정책전략대학원의 겸임교수이기도 한 김승준 교수는 AI 기반 상호작용 기술과 디지털 창작 지원 시스템을 다수 개발해 왔다. 이번 연구 결과를 포함해, CHI 2025 학회에서 논문(full-paper) 3편과 포스터 3편을 발표하는 성과를 거두었다.
논문의 주요 정보
1. 논문명, 저자정보
- 학회명: Conference on Human Factors in Computing Systems (CHI)
* 세계 최고 인간-컴퓨터 상호작용 학회(2025년 기준 h5-index=129 in Human Computer Interaction, Top 1)이며, 한국정보과학회 기준 최우수 학술대회
- 논문명: MoWa:AnAuthoring Tool for Refining AI-Generated Human Avatar Motions Through Latent Waveform Manipulation
- 저자 정보: 오정석 박사과정생(제1저자, AI융합학과), 김승준 교수(교신저자, 융합학과)
