멜론 프로젝트에는 아티스트 인터뷰 영상이 자주 들어간다. 자막을 붙이는 방법은 단순했다. 인터뷰 전문이 담긴 .docx 파일을 열고, 문장 하나를 복사하고, 아티스트가 그 말을 하는 지점을 찾아 붙여 넣는다. 그리고 다음 문장.

어려운 일은 아니었다. 다만 인터뷰 한 편에 문장이 수십 개였고, 손은 같은 동작을 되풀이했다. 이 정도로 정해진 일이라면 꼭 사람이 하지 않아도 되겠다는 생각이 들었다.

코딩은 할 줄 모른다. 그래서 하고 싶은 일을 말로 설명하고, 제미나이가 건네준 코드를 After Effects에서 실행해 보는 식으로 만들었다. 인터뷰 전문 .docx를 불러오면, 스크립트가 음성의 파형을 보고 문장마다 텍스트 레이어를 정해 둔 자리에 만든다. 타임라인 위로 레이어가 계단처럼 차례로 내려앉는다.

대단한 기술은 아니다. 문장을 복사하고 붙이던 시간이 파일 하나를 불러오는 시간으로 줄었을 뿐이다. 그래도 반복이 빠진 자리에는 원래 고민해야 했던 것, 이 말을 화면에 어떻게 보여줄지가 남았다.

듀오버스터가 신제품 출시를 앞두고 있었다. 보여줄 제품은 있는데 찍어 둔 컷이 없었고, 광고주는 실사 촬영 비용을 부담스러워했다. 촬영을 할 수 없다면 촬영 없이 만들면 되겠다고 생각했다. 그래서 AI 숏폼을 먼저 제안했다.

제품은 구강유산균이었다. 이 제품의 USP는 한국인 맞춤형 유산균이라는 점이었고, 고민은 그것을 어떻게 소구하느냐였다. 설명으로 풀기보다 한 장면으로 보여주고 싶었다. 그래서 떠올린 것이 'K-구강유산균'이라는 말에 어울리는 민속화였다. 기존 민속화 가운데 제품과 가장 잘 어울리는 한 점을 골라 GPT 2.0으로 제품을 합성했다.

관건은 목소리였다. 그림 속 인물이 사극 톤으로 말해야 했는데, 리깅으로는 그 동작과 말투를 만들기 어려웠다. 영상을 생성할 때부터 대사를 프롬프트에 함께 넣었고, 목소리는 실제 사극 배우의 음성을 레퍼런스로 삼았다. 대사를 미리 넣어 둔 덕분에 나중에 더빙을 입혀도 입 모양이 자연스럽게 맞았다.

매끄럽기만 했던 건 아니다. 여러 비디오 모델을 섞어 쓰다 보니 컷마다 색감이 미묘하게 틀어졌다. 한 편 안에서 모델이 바뀌면 톤도 같이 바뀐다는 걸 그때 알았다.

다음에는 몇 가지를 먼저 정해 두고 시작할 생각이다. 컷이 여러 개라면 비디오 모델은 처음부터 하나로 고정한다. 립싱크가 필요하면 대사를 생성 단계부터 프롬프트에 넣고(Seedance 2.5 기준), 목소리는 그 뒤에 따로 입힌다. AI 음성은 레퍼런스 유사도를 40~50%로 낮추고(ElevenLabs v3 기준) 대사를 소리 나는 대로 적을 때 훨씬 자연스러웠다.

하나 더 있다. AI 영상은 일부 컷만 고쳐도 전체를 다시 생성해야 할 때가 많다. 수정 한 번에 2~3일이 더 들고, 토큰 비용도 늘어난다. 촬영이 없어 가벼워 보이는 만큼, 수정의 횟수와 범위는 시작 전에 정해 두는 편이 좋다.