SDF 다이어리

지난 12일, 권한슬 감독팀에서 새로운 AI단편영화 ‘포임 오브 둠’를 내놓았습니다. ‘원 모어 펌킨’때와는 AI영상 제작기술이 얼마나 발전했는지 직접 들어봤습니다.

오늘 새벽에 공개한 거라 아마 방송미디어 가운데서는 가장 먼저 소개를 하게 되는 것 같은데요. ‘원 모어 펌킨’은 지난해 8월, 9월 정도에 만든 영화다 보니 기술 자체가 1년 전 기술을 활용했고요. 이번에 공개한 ‘포임 오브 둠’은 지난 1년 동안 AI가 굉장히 많이 진화했거든요. 비디오 AI기술이 굉장히 많이 발전해서 몇몇 컷은 실사에 가까울 정도의 퀄리티 수준으로 저희가 제작을 해서 내놓은 것입니다. 가장 큰 차이는 ‘원 모어 펌킨’은 사실 실험영화에 가까웠어요. ‘AI로 이러한 것까지 할 수 있다’, AI영화라는 장르를 조금 기념비적으로 알린 작품, 그 시장을 개척한 작품이라고 볼 수 있고요.

일단 AI를 영상에 쓰려면 그 장점을 잘 활용해야 된다고 생각하는데 AI의 장점은 CG로 작업했을 때보다 비용과 시간이 확실히 절감이 됩니다. 일상적인 드라마나 로맨스 같은 경우에는 굳이 AI로 표현할 필요가 없습니다. 실사 촬영이 훨씬 더 효율적이니까요. 그런데 CG가 많이 들어가는 장르물이나 스케일감이 있는 작품들 같은 경우에는 AI의 장점을 극대화할 수 있는 것이죠.

또 아까 말씀하신 것처럼 약간 SF적이고 중세적인 느낌이 섞여있다 하셨는데 AI가 잘하는 것 가운데 하나가 서로 다른 무엇인가를 조합하는 것입니다. 신선하고 미묘하게 새로운 이미지를 구현하는 것이 AI가 굉장히 잘 할 수 있는 부분입니다.

10개 넘죠. AI서비스 가운데 누구나 쓸 수 있게 되어 있는 툴도 있고 오픈되어 있는 모델을 저희가 가져와서 맞춤화하는데요. 저희는 개발자 분들도 있고 AI아티스트 분들도 있는 회사다 보니까 이렇게 다 조합해서 쓰는데 예를 들면 이미지를 비디오로 만들어주는 AI도 있고 텍스트를 비디오로 만들어주는 AI도 있고 보이스를 만들어주는 AI, 음악을 작곡하는 AI, 그리고 표정연기와 립싱크라고 하죠. 말을 할 수 있게 만들어주는 AI 등등등. 한 가지를 가지고 딸깍딸깍 만드는 게 아니라 되게 많은 것들을 조합해서 만들고 있습니다. 왜냐하면 AI마다 잘하는 게 다 다르고 고도화돼 있는 포인트들이 다르기 때문인데요. 저희는 하이엔드 AI 영상을 추구하고 있기 때문에 지금 현존하는 최고치의 AI 기술로 뽑아내는 게 저희의 목표이거든요. 다양한 기술 중 최적의 기술을 조합하는 결국에는 한 컷, 한 컷 들어가는 AI들이 다 다르다, 한 컷을 만든다고 해도 AI가 2개 들어가고 3개 들어가고 5개까지도 조합해서 들어간다 그렇게 봐주시면 될 거 같습니다.

분량이 5분 30초인데요. 제작 기간이 5인이서 2주 정도 소요됐습니다.

AI 영상이라는 것 자체를 지난해 4월 정도에, GIF라고 하죠. 움짤이라는것 있잖아요. 되게 프레임이랑 해상도가 낮아서 뚝뚝 끊기는 그런 수준부터 제가 봐왔는데요. 그런데 두 달 뒤 보니까 옛날 저화질 클립 같이 보이기 시작하는 거예요. 그리고 머지않아 이게 더 발전하면 실제 영상 제작에 쓰일 수도 있지 않을까 라는 생각을 그때부터 했었던 것 같아요. 당시 사람들은 그거 한 10년 뒤에나 가능한 일라고 말했었거든요. 그런데 그로부터 6개월, 7개월 뒤에 오픈AI가 ‘소라’라는 모델을 올 2월 공개하면서 사람들의 시선이 완전히 바뀐 거죠.

AI비디오 쪽에 관심이 어마어마하게 쏠리고 이제 ‘소라’ 같은 경우는 실사와 구분 안 되는 수준의 그런 클립들도 있고 심지어 AI가 물리법칙을 이해한다는 느낌을 받았을 정도로 굉장히 놀랐던 기술인데 아니나 다를까 그로부터 지금 또 6개월이 지났죠. 오픈AI외에도 런웨이(https://runwayml.com/), 루마(https://lumalabs.ai/dream-machine)등 다양한 AI 기업들이 경쟁이 붙어서 거의 매주, 매달 업데이트를 하고 있거든요. 기술이 점점 좋아지는 거예요. 그러니까 저희도 발 빠르게 발전하고 있는 이 분야의 기술을 잘 팔로우해서 제작을 하게 된 것이죠.

한 건 있고 지금 출원 준비 중인 건들이 몇 개 있습니다. 가장 핵심적인 것은 ‘비디오 투 폴리’라고 해서 저희가 앞으로 구현할 기술의 선행기술이라고 봐주시면 되는데요. 어떤 거냐면 인공지능을 기반으로 비디오를 인식해서 거기에 걸맞은 효과음을 생성해서 싱크까지 맞춰서 배치하는 것입니다. 제가 AI로 비디오를 수십만 개의 컷을 만들어봤지만 영상을 만드는 것보다 소리는 다 수작업으로 다시 넣어야 돼요.

AI로 만든 것은 영상만 나오고 소리가 없거든요. 소리까지 같이 나오면 좋겠다는 생각을 작년부터 했습니다. 이에 대한 기술을 특허를 내서 개발을 하고 있고, 캐나다의 지사를 세워서 딥러닝의 아버지 가운데 한 분으로 불리는 요수아 벤지오 교수님이 세운 ‘밀라’라는 연구소와 파트너십을 맺어서 협력 연구하고 있습니다. 현재도 저희 연구소장님이 캐나다에 출장 가 있는 상황입니다.

저작권 경우에는 지금은 무법, 그냥 법이랑 제도가 없는 상태이고요. 일자리 같은 경우는 저는 AI는 도구일 뿐이다. 창작의 주체는 인간이라고 생각해요. AI가 사실 진작에 이 정도 만들 수 있으면 감독부터 없어지지 않았겠어요? 그런데 제가 감독을 하고 있고 AI는 그것을 표현하는 방법으로 쓰고 있으니 저는 음악 쪽도 비슷할 것이라고 생각해요. 내가 직접 작곡을 할 수도 있지만 AI가 주는 시안들을 토대로 개발해 만들 수도 있는 것이죠. AI는 뭔가를 대체하는 게 아니라 인간의 보조도구로서 사용될 것이라고 생각합니다. ‘포임 오브 둠’의 경우에도 이야기는 제가 직접 만든 것입니다.

당장은 배우 쪽인 것 같아요. 인간의 디테일한 감정선을 따라갈 수가 없고 무엇보다도 세밀한 디렉팅을 줄 수가 없습니다. 실제 촬영이었으면 배우한테 감독이 약간 이런 뉘앙스로 이런 디렉팅을 주면 되는데 AI는 그게 좀 어렵고요. 일관성 있는 주인공 캐릭터의 얼굴을 계속해서 생성하는 것도 아직 완벽하지 않아서 차차 해결될 거라 생각합니다만 아직은 조금 그런 것들이 미약합니다.

젊은 대표의 당찬 비전이 빈말로 느껴지지 않았습니다.