지금까지 만든 스토리보드 이미지를 영상으로 변환하는 단계입니다. Kling, Seedance, Veo 같은 AI 영상 생성 도구에 이미지를 시작 프레임으로 넣고, 프롬프트를 입력하면 짧은 영상 클립이 만들어집니다.
여기서 가장 흔한 실수는 이미지 생성 때처럼 길고 상세한 프롬프트를 쓰는 것입니다. 영상 생성 프롬프트는 이미지 프롬프트와 근본적으로 다릅니다. 이미지 프롬프트는 "무엇이 어떻게 보이는가"를 묘사하지만, 영상 프롬프트는 "무엇이 어떻게 움직이는가"를 지시합니다.
그리고 이미 완성된 스토리보드 이미지를 시작 프레임으로 사용하기 때문에, 외형 묘사는 프롬프트에서 제거해도 됩니다. 이미지가 이미 "어떻게 보이는가"를 담고 있기 때문입니다.
비디오 생성 프롬프트의 핵심은 딱 두 가지입니다. 인물의 움직임과 카메라의 움직임. 이 두 가지만 명확하게 지시하면 됩니다.
Kling은 프롬프트 토크나이징에 DeepSeek가 관여하고 있어서 한국어 프롬프트로도 충분히 제 성능을 발휘하지만 한국어와 영어의 미묘한 표현 차이, 그리고 촬영 관련 용어를 제대로 번역하지 못하는 문제가 있어서 영어 프롬프트가 조금 더 정확합니다. 하지만 큰 차이가 발생하는 편은 아니니 편하신대로 차용해서 사용하시면 되겠습니다.
제가 주로 사용하는 Kling의 프롬프트는 다음 공식을 따릅니다.
[인물 움직임] + [카메라 움직임]
이것이 전부입니다. 배경 묘사, 조명 설명, 색감 지시, 의상 묘사는 넣지 않습니다. 이 정보들은 이미 시작 프레임 이미지에 담겨 있으므로, 프롬프트에 다시 쓰면 오히려 AI가 혼란을 일으켜 시작 프레임과 다른 결과를 만들어낼 수 있습니다.
여자가 천천히 고개를 돌려 카메라를 바라본다. 카메라 고정.
남자가 복도를 걸어 카메라 쪽으로 다가온다. 카메라가 천천히 뒤로 달리하며 거리를 유지한다.
인물 정지. 카메라가 얼굴 주위를 천천히 오른쪽으로 궤도 회전한다.
어두운 연구소 안에서, 흰색 가운을 입은 30대 여성 연구원이 형광등 아래에서 공포에 질린 표정으로 뒤를 돌아보며, 차가운 블루 톤의 조명이 그녀의 얼굴 한쪽을 비추고, 배경에는 깨진 유리 시험관이 바닥에 흩어져 있으며, 카메라가 천천히 줌인한다.
이 프롬프트의 문제는 시작 프레임이 이미 보여주고 있는 정보(연구소, 흰색 가운, 표정, 블루 톤 조명, 깨진 유리)를 전부 반복하고 있다는 점입니다. AI는 이 텍스트와 시작 프레임 이미지 사이에서 충돌을 일으키고, 결과물이 불안정해집니다. 위 프롬프트에서 실제로 필요한 것은 "뒤를 돌아본다"와 "카메라가 천천히 줌인한다" 뿐입니다.
수정하면 이렇게 됩니다.
여자가 천천히 뒤를 돌아본다. 카메라가 느리게 줌인한다.