AI로 영화 한 편을 끝까지 만들면 생기는 일

1. "프롬프트만 잘 쓰면 되는 거 아닌가요"

상담에서 가장 많이 듣는 말입니다. 절반은 맞습니다. 좋은 컷 하나는 실제로 프롬프트 한 줄에서 나옵니다.

문제는 영화도 광고도 컷 하나가 아니라 컷의 연속이라는 점입니다. 8분 단편 하나는 25개 세그먼트, 그 아래 수십 개의 개별 클립으로 이루어집니다. 30초 광고도 최소 8~15컷입니다. 여기서 성격이 완전히 바뀝니다.

컷이 하나일 때 필요한 것은 좋은 프롬프트입니다. 컷이 열 개가 되면 필요한 것은 일관성입니다. 같은 사람이 같은 사람으로 보여야 하고, 같은 개가 같은 품종이어야 하고, 같은 방이 같은 방이어야 하고, 조명이 튀지 않아야 하고, 목소리가 같은 사람 목소리여야 합니다. 생성 모델은 이걸 보장하지 않습니다. 매번 새로 상상합니다.

그래서 실제 작업 시간의 대부분은 생성이 아니라 관리와 편집에 들어갑니다. 저희 기록으로 보면 생성은 공정의 한 단계일 뿐이고, 앞뒤로 붙는 여섯 단계가 결과물의 품질을 결정했습니다.

이 문서는 그 여섯 단계에 관한 이야기입니다.

2. 전체 공정 — 7단계

특히 강조하고 싶은 건 4번과 5번의 '폐기 이력' 입니다. 이 둘이 일반적인 AI 영상 작업과 저희 공정이 갈라지는 지점입니다.

2-1. 왜 나레이션을 먼저 확정하나

처음에는 영상을 먼저 뽑고 거기에 소리를 얹었습니다. 영상 생성 모델이 대사까지 함께 만들어주기 때문에 자연스러운 순서로 보였습니다.

결과는 좋지 않았습니다. 모델이 만든 대사는 발음과 억양이 들쭉날쭉했고, 무엇보다 고칠 수가 없었습니다. 대사 한 단어를 바꾸려면 영상 전체를 다시 뽑아야 했고, 다시 뽑으면 인물 얼굴이 또 달라졌습니다.

그래서 순서를 뒤집었습니다.

대본 → 나레이션·대사 음성 확정 → 문장별 타임코드 추출
     → 그 타임코드에 맞춰 영상 클립을 배치·재단

말이 척추가 되고 그림이 변수가 됩니다. 이렇게 하면 세 가지가 동시에 해결됩니다.

첫째, 대사 품질이 안정됩니다. 음성만 따로 여러 번 뽑아 가장 좋은 걸 고를 수 있습니다. 영상 재생성보다 훨씬 쌉니다.

둘째, 편집 리듬이 잡힙니다. 사람은 그림보다 말과 음악으로 시간을 느낍니다. 말이 먼저 확정되면 "여기가 늘어진다"를 편집 전에 알 수 있습니다.

셋째, 비용이 내려갑니다. 그림이 변수가 되면 모든 컷을 최고 사양으로 뽑을 이유가 없습니다. 대부분의 구간은 정지 이미지에 약한 움직임만 넣어 깔고, 감정이 걸린 몇 개 컷만 고사양 생성으로 올립니다.

2-2. 왜 버린 컷을 기록으로 남기나

버린 컷은 지우는 게 아니라 rejected/ 폴더로 옮기고, 데이터베이스에 왜 버렸는지를 함께 남깁니다. 실제로 이 프로젝트에는 폐기 영상 57개, 합본 구성 소스 53개, 폐기 기준 이미지 5개가 그대로 보존돼 있습니다.

이유는 세 가지입니다. 같은 실수를 반복하지 않기 위해서, 나중에 "그때 그 버전이 나았다"는 판단이 들 때 되돌리기 위해서, 그리고 이 작업이 버튼 한 번이 아니라 선택의 연속이었다는 증거를 남기기 위해서입니다. 공모전 심사나 클라이언트 검수에서 실제로 요구되는 자료이기도 합니다.

3. 실제로 터진 사고 다섯 건

공정을 설명하는 가장 정직한 방법은 실패를 보여주는 것입니다. 아래는 전부 이 작품에서 실제로 발생했고, 해결까지 기록이 남아 있는 사례입니다.

사고 1 — 개의 품종이 컷마다 바뀌었다

반려견 '뭉치'는 이 영화의 감정 핵심입니다. 그런데 생성할 때마다 다른 개가 나왔습니다. 어떤 컷은 어린 강아지, 어떤 컷은 다른 품종이었습니다. 관객은 이걸 즉시 알아챕니다.

해결: 크림-애프리콧색 노령견 이미지 하나를 정본으로 확정하고, 이후 모든 뭉치 컷은 그 이미지를 레퍼런스로 넣어 생성했습니다. 짖는 소리도 마찬가지로 하나를 정본으로 잠그고 장면별로 변주했습니다.

교훈: 반복 등장하는 대상은 생성 전에 정본을 만들어야 합니다. 만들고 나서 맞추려 하면 늦습니다.

사고 2 — 차 안에서 인물이 사라졌다

윤재와 이나가 함께 차로 이동하는 컷에서, 이나가 중간에 프레임에서 사라졌습니다. 한 번 보고는 놓치기 쉽지만 이어붙이면 명백한 오류입니다.

해결: 해당 컷을 needs_regen으로 내리고 "두 사람이 인접 좌석에 계속 보일 것"을 조건으로 재생성했습니다.

교훈: 컷 검수는 첫 프레임과 마지막 프레임만 보면 안 됩니다. 저희는 앞 컷의 마지막 프레임과 뒤 컷의 첫 프레임을 나란히 놓고 비교하는 절차를 별도로 둡니다.

사고 3 — 뉴스 앵커가 '귀추'를 '귀채'라고 읽었다

오프닝 뉴스 리포트 대사 "귀추가 주목됩니다"를 음성 모델이 계속 '귀채' 또는 '귀보'로 발음했습니다. 세 번 다시 뽑아도 같았습니다. 해외에서 학습된 모델이라 이 단어를 배우지 못한 것으로 판단했습니다.

해결: 모델과 싸우지 않고 대본을 고쳤습니다. "귀추가 주목됩니다" → "관심이 집중되고 있습니다". 뜻은 같고 발음은 쉬운 표현으로 교체했습니다. 이미 촬영(생성)된 영상은 입모양이 안 맞으므로, 그 구간만 다른 화면으로 덮었습니다.

교훈: 재생성 3회 연속 실패는 모델의 한계로 보고 즉시 다른 경로로 갑니다. 계속 뽑는 건 돈만 나갑니다.

사고 4 — 통과시켰던 수정이 사실 통과가 아니었다

기술명 '휴머노이드'를 모델이 '휴머노이즈'로 발음했습니다. 이건 고유명사라 대본을 못 바꿉니다. 그래서 음성을 정밀하게 수술해 '즈' 소리를 '드' 소리로 교체했고, 검수를 통과시켰습니다.

그런데 나중에 다시 검사하니 여전히 틀려 있었습니다. 원인은 기술이 아니라 검사 절차였습니다. 음성 인식기로 확인할 때 정확도가 낮은 모델을 썼고, 문장 전체를 한 번에 읽혔습니다. 인식기는 앞뒤 문맥으로 틀린 단어를 알아서 메워버립니다. 사람 귀도 똑같습니다.

해결: 대사를 "휴먼 복원 기술"로 교체하고 그 구간만 다시 만들었습니다. 그리고 검증 절차 자체를 다시 썼습니다.

• 어떤 인식 모델을 썼는지 반드시 기록에 남긴다
• 의심 단어는 그 구간만 잘라서 따로 읽힌다
• 정상이라고 확인된 대조군을 같은 조건으로 함께 읽혀, 검사 방법 자체가 유효한지부터 본다

교훈: 이게 다섯 사고 중 가장 중요합니다. 검수를 통과했다는 사실보다, 그 검수가 통과시킬 능력이 있었는지가 먼저입니다. 품질 관리 절차 자체를 의심하는 단계가 공정에 있어야 합니다.

사고 5 — '입력'이 '인육'으로 들렸다

연구원 대사 "입력해두었습니다"가 '인육해두었습니다'로 발음됐습니다. '입력'은 글자와 실제 발음이 다른 단어(표준 발음 [임녁])라 모델이 헷갈린 경우입니다.

해결: 대본 텍스트를 소리 나는 대로 적었습니다. "입력해" → "임녁해". 모델은 글자대로 읽으므로 정확한 발음이 나옵니다.

다만 여기에 함정이 하나 더 있었습니다. 같은 방식으로 '복원'을 [보권]이라 적었더니 이번엔 관객이 '복권' 으로 알아듣게 됐습니다. 발음은 맞았는데 다른 단어가 돼버린 겁니다. 원래 문제보다 나쁩니다.

교훈: 우회책에는 반드시 부작용 점검이 따라야 합니다. 저희는 이 사례 이후 "표기를 바꾸면 그 표기의 동음이의어부터 먼저 찾아본다"를 절차에 넣었습니다.

4. 그래서 만든 장치 네 가지

위 사고들을 사람의 주의력으로 막는 건 불가능합니다. 한 사람이 수백 개 클립을 눈으로 다 보면 반드시 놓칩니다. 그래서 도구를 만들었습니다.

4-1. 제작 데이터베이스

샷, 프롬프트, 생성 결과, 검수 의견, 사용된 자산, 대사, 자막을 하나의 관계형 데이터베이스로 묶었습니다. 파일 이름과 폴더로 관리하면 반드시 무너집니다. 실제로 편집 순서가 바뀌어 세그먼트 번호를 전면 재배치했을 때, 데이터베이스가 있었기 때문에 44건의 경로를 한 번에 정정할 수 있었습니다.

이 데이터베이스는 그대로 제작 증빙이 됩니다. 어떤 컷을 어떤 모델로 몇 번째 시도에 만들었고 왜 채택했는지가 전부 조회됩니다.

4-2. 자동 채점기

생성된 클립이 나오면 사람이 보기 전에 기계가 먼저 걸러냅니다. 디코딩 실패, 해상도 미달, 화면이 검게 죽은 구간, 움직임이 얼어붙은 구간, 쓸 만한 구간(1~6초)이 존재하는지 여부를 자동 판정합니다. 명백한 실패는 자동으로 폐기 처리되고, 살아남은 것만 사람에게 올라갑니다.

중요한 원칙이 하나 있습니다. 자동 채택은 하지 않습니다. 기계는 떨어뜨리기만 하고, 무엇을 쓸지는 반드시 사람이 정합니다. 기계가 고른 컷으로만 만든 영상은 평균적으로 무난하고 아무도 기억하지 못합니다.

4-3. 타임라인 편집 엔진

초기에는 편집 버전마다 별도 스크립트를 만들었습니다. v01, v02, v03… v11까지 갔습니다. 컷 하나를 바꾸려면 스크립트를 고쳐야 했고, 그래서 편집을 자주 못 했습니다.

영화가 재미있어지는 곳은 편집실입니다. 편집이 느리면 재미를 고칠 기회 자체가 없습니다.

그래서 편집을 표(매니페스트)로 바꿨습니다. 어떤 클립을 몇 초부터 몇 초까지 쓰고, 어떤 자막을 붙이고, 어떤 나레이션과 음악을 얹을지를 표 한 장에 적으면 전체가 다시 렌더링됩니다. 수정에서 확인까지 몇 분입니다.

그리고 러프컷 단계부터 임시 음악을 깔았습니다. 음악은 후반 작업이 아닙니다. 음악이 없으면 페이싱을 판단할 수 없습니다.

4-4. 음성 자동 검증 게이트

모든 생성 음성은 만들어진 직후 음성 인식기에 통과시켜 대본과 자동 대조합니다. 사람 귀는 최종 게이트에서만 씁니다. 사고 4에서 확인했듯 사람 귀는 문맥으로 오류를 메워버립니다. 실제로 기계가 사람보다 먼저 잡아낸 오류가 여러 건입니다.

5. 비용과 일정의 실제 감각

숫자를 숨기지 않고 적겠습니다.

생성 단가

고품질 영상 생성은 클립 하나에 수백 원에서 천 원 단위입니다. 문제는 단가가 아니라 횟수입니다.

핵심은 이 비율입니다. 5초짜리를 생성해도 실제로 쓸 수 있는 건 보통 1~6초 구간 일부이고, 생성한 클립의 채택률은 절반 남짓입니다. 즉 화면에 남는 1분을 만들려면 그보다 훨씬 많이 뽑아야 합니다.

이건 낭비가 아니라 품질의 원천입니다. AI 영상 품질은 잘 뽑는 데서 오는 게 아니라 많이 뽑아 골라내는 선택압에서 옵니다. 비싸게 몇 개만 뽑으면 마음에 안 드는 걸 억지로 쓰게 됩니다.

그래서 비용 설계의 핵심은 "적게 뽑기"가 아니라 "싸게 많이 뽑고, 통과한 것만 비싸게 승격하기" 입니다.

실제 예산 구간 (참고)

8분 단편 기준으로 저희가 잡았던 구간은 다음과 같습니다. 재생성 횟수에 따라 크게 움직입니다.

• 최소안: 생성 결과가 잘 나오는 경우
• 권장안: 핵심 감정 컷에 보강 예산을 남긴 경우 — 이 구간이 현실적입니다
• 상한안: 동물·인물 상호작용 컷이 계속 실패하는 경우

무제한 생성은 어떤 경우에도 하지 않습니다. 보강 대상 장면 수를 미리 정하고, 장면당 후보 개수에 상한을 두고, 그 안에서 고릅니다.

시간

가장 오래 걸린 건 생성이 아니었습니다. 결정과 검수였습니다. 어떤 컷을 쓸지 정하는 일, 대사 발음이 맞는지 확인하는 일, 이어붙였을 때 말이 되는지 보는 일입니다. 이 시간을 일정에 넣지 않으면 반드시 마감이 밀립니다.

권리 관계

상업 납품에서는 이게 품질만큼 중요합니다. 저희 기준입니다.

• 실존 인물의 얼굴·음성을 복제하지 않습니다
• 특정 배우·감독·작가의 이름을 지목한 스타일 생성을 하지 않습니다
• 기존 IP 캐릭터와 유사한 디자인을 만들지 않습니다
• 비상업 라이선스 모델은 사용하지 않습니다. 성능이 좋아도 배제합니다. 실제로 이 프로젝트에서 성능이 우수한 음성 모델 여러 개를 라이선스 조건 때문에 제외했습니다
• 사용한 모든 도구·모델의 라이선스 조건을 기록으로 보관합니다

6. 이 공정을 광고에 적용하면

지금까지는 8분 단편 이야기였습니다. 30초 광고는 어떻게 달라질까요.

공정은 그대로, 규모만 줄어듭니다. 오히려 광고 쪽이 더 잘 맞습니다. 길이가 짧아 반복 횟수를 늘릴 수 있고, 메시지가 하나라 판단 기준이 명확하기 때문입니다.

광고에서 특히 중요해지는 항목이 둘 있습니다.

하나, 제품 정본. 사람 얼굴보다 제품이 훨씬 까다롭습니다. 라벨 글자, 로고, 색, 형태가 컷마다 달라지면 즉시 티가 납니다. 그래서 제품이 화면에 크게 나오는 컷은 생성물에만 의존하지 않고 실제 제품 이미지를 합성하는 경로를 병행합니다.

둘, 파생 버전. 광고는 하나로 끝나지 않습니다. 15초·30초, 가로·세로, 자막 유무. 편집이 표로 관리되면 이 파생이 재편집이 아니라 표 복사가 됩니다. 이게 광고에서 이 공정의 가장 큰 실익입니다.

맡기실 때 준비해주시면 좋은 것

없어도 진행 가능합니다. 첫 미팅에서 함께 정리하는 것도 저희 일의 일부입니다.

7. 원칙 여덟 줄 요약

1. 컷 하나가 아니라 이어붙인 것을 본다. 재미와 오류는 둘 다 연결에서 드러납니다.
2. 반복 등장하는 것은 생성 전에 정본을 만든다. 사람, 동물, 공간, 제품.
3. 말을 먼저 확정하고 그림을 맞춘다. 말이 척추, 그림이 변수입니다.
4. 재생성 3연속 실패는 모델의 한계로 본다. 우회 경로로 즉시 전환합니다.
5. 기계는 떨어뜨리고 사람은 고른다. 자동 채택은 하지 않습니다.
6. 검수 방법 자체를 의심한다. 통과 판정보다 그 판정이 유효한지가 먼저입니다.
7. 버린 것을 기록한다. 폐기 이력이 곧 선택의 증거입니다.
8. 편집을 빠르게 유지한다. 수정에서 확인까지가 길면 품질을 고칠 기회가 사라집니다.

8. 정리

AI로 영상을 만든다는 건 프롬프트를 쓰는 일이 아니라, 일관성이 무너지는 지점을 미리 알고 거기에 장치를 놓는 일이었습니다.

생성 도구는 계속 좋아질 겁니다. 6개월이면 지금 겪은 발음 문제 절반은 사라질지도 모릅니다. 하지만 무엇을 말할지 정하고, 어떤 컷을 버릴지 판단하고, 이어붙인 걸 끝까지 보고 지루한 지점을 찾아내는 일은 남습니다. 저희가 파는 것은 도구 접근권이 아니라 그 판단과 그 판단을 반복 가능하게 만드는 공정입니다.

영상이나 광고를 준비하고 계시다면, 완성된 기획서를 들고 오실 필요는 없습니다. "이런 걸 만들고 싶은데 어디서부터 해야 할지 모르겠다" 가 저희 상담의 정상적인 출발점입니다.