AI – Stable Video Diffusion(SVD) 로컬 실행 방법

by

안녕하세요. 오토남입니다.

오늘은 Stable Video Diffusion(SVD)을 내 PC에서 직접 실행해서 AI 기반의 멋진 영상을 만드는 방법을 소개해드릴게요. 로컬 GPU에서 돌아가는 모델이라, 사양만 받쳐준다면 인터넷 없이도 고퀄리티 영상을 뚝딱 만들 수 있습니다. 영상 제작 자동화에 관심 있으신 분들, 꼭 한번 따라 해보세요!

Stable Video Diffusion(SVD)이란?

SVD는 Stability AI에서 만든 텍스트 → 영상 변환 모델이에요.
Stable Diffusion의 영상 버전이라고 보시면 됩니다.

  • 텍스트만 입력하면 AI가 알아서 영상을 만들어줘요.
  • 이미지도 넣으면 그걸 기반으로 애니메이션처럼 영상을 만들어주고요.
  • 무엇보다 로컬 GPU에서 실행 가능하다는 게 가장 큰 장점이죠!

사전 준비 사항

✅ 시스템 요구사항

항목최소 사양권장 사양
GPURTX 2060 6GBRTX 3080 10GB 이상
RAM16GB32GB
OSWindows, Linux, macOSWindows 10/11
Python3.10 ~ 3.113.11 추천

⚠️ 주의: Python 3.13은 안 됩니다! 꼭 3.11을 설치해주세요.

✅ 설치 환경 (제 pc기준)

  • 운영체제 : Windows 11 Pro
  • GPU : RTX 3080
  • RAM : 32GB
  • Python : 3.11 (Orc2 버전)

✅ 필요한 소프트웨어

  1. Python 3.11 다운로드
    • 아래 하단 이미지를 참고해서 Python >> Downloads >> Windows >> 아래로 쪽 내리다보면
    • Python 3.11.Orc2 – Sept. 12, 2022 >> Download Windows installer (64-bit) 클릭후 설치
  2. CUDA 12.6 다운로드
    • Windows >> x86_64 >> 11 >> exe(network) >> Download 클릭후 설치
  3. PyTorch 설치
    • PyTorch 설치 명령어: Window11 검색에서 Windows PowerShell을 찾아서 관리자 권한을 실행후 아래 명령어를 카피 복사해서 설치
    • pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu126
    • 만약 pip3가 없다고 나올경우 path를 설정해줘야 합니다.
    • 윈도우11 검색에서 시스템환경변수 실행후 환경변수 클릭후 시스템쪽 Path를 더블클릭후 파이썬 위치 2개를 추가해주면 됩니다. (상세내용은 하단 이미지 참고)
    • C:\Users\사용자\AppData\Local\Programs\Python\Python311(사용자는 개인꺼로 변경)
    • C:\Users\사용자\AppData\Local\Programs\Python\Python311\Scripts(사용자는 개인꺼로 변경)
    • CUDA 12.6 이상이 설치되어 있어야 합니다.

Stable Video Diffusion 설치 및 실행 방법

🔹 방법 1: ComfyUI로 간편 실행 (추천)

  • ComfyUI 다운로드
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
  • 필요한 라이브러리 설치 (이부분은 cd ComfyUI 폴더 안에서 실행해야 됩니다.)
pip install -r requirements.txt
  • Stable Video Diffusion 모델 다운로드
    • Hugging Face에서 SVD 모델 파일 다운로드
      📌 Stable Video Diffusion 1.1
    • stable-video-diffusion-img2vid-xt.safetensors 파일을 ComfyUI/models/checkpoints 폴더에 넣기
  • ComfyUI 실행 sh복사편
python main.py
  • 웹 UI 접속
    • 실행 후 http://127.0.0.1:8188 에 접속하면 AI 영상 생성 가능!

🔹 방법 2: Python 코드로 직접 실행

  • 필요한 패키지 설치
pip3 install torch torchvision torchaudio diffusers transformers accelerate scipy safetensors
  • Stable Video Diffusion 모델 실행
from diffusers import StableVideoDiffusionPipeline
import torch

model_id = "stabilityai/stable-video-diffusion-img2vid-xt"
pipe = StableVideoDiffusionPipeline.from_pretrained(
    model_id, torch_dtype=torch.float16
).to("cuda")

video = pipe("A futuristic city skyline with flying cars", num_frames=16).videos
video[0].save("output.mp4")
  • 실행 후 output.mp4 파일 확인!

실행 체크리스트

  • torch.cuda.is_available() 가 True인지 확인!
  • ComfyUI에서 Stable Video Diffusion 노드 추가했는지 확인
  • num_frames 값을 줄이면 VRAM 부족 문제 해결 가능

추가 기능도 있어요

  • 텍스트 → 영상 변환
  • 이미지 → 영상 애니메이션
  • 프레임 보간 (interpolation)으로 FPS 부드럽게 증가
  • AI 음성 추가 (ElevenLabs, Coqui 등 활용 가능)

이제 나만의 AI 영상, 집에서도 만들어볼 수 있겠죠?
궁금한 점은 언제든 편하게 검색해보시고, 다양한 프롬프트로 실험해보세요 🙂

Leave a Comment