ATH-MaaS/Pixelle-Video

🎬 Pixelle-Video —— AI 완전 자동 숏폼 비디오 엔진

English | 中文

https://github.com/user-attachments/assets/a42e7457-fcc8-40da-83fc-784c45a8b95d

• ✍️ 비디오 스크립트 작성
• 🎨 AI 이미지/비디오 생성
• 🗣️ 음성 해설 합성
• 🎵 배경 음악 추가
• 🎬 원클릭 비디오 합성

주제 하나만 입력하면 Pixelle-Video가 자동으로 다음을 수행합니다:

제로门槛, 제로 편집 경험, 비디오 제작이 한 마디로 가능해집니다!

🖥️ 웹 인터페이스 미리보기

📋 최근 업데이트

• ✅ 2026-06-01: 직접 연결 API 미디어 모델 구성 추가, WebUI에서 이미지/비디오 모델 공급자, Base URL 및 프록시 설정 지원
• ✅ 2026-01-26: '동작 전이' 모듈 추가, 참조 비디오와 이미지를 업로드하여 동작 전이 수행
• ✅ 2026-01-14: '디지털 휴먼 립싱크' 및 '이미지-투-비디오' 파이프라인 추가, 다국어 TTS 음색 지원 추가
• ✅ 2026-01-06: RunningHub 48G VRAM 머신 호출 지원 추가
• ✅ 2025-12-28: RunningHub 동시성 제한 설정 가능, LLM 구조화된 데이터 반환 로직 최적화
• ✅ 2025-12-17: ComfyUI API Key 설정 지원, Nano Banana 모델 호출 지원, API 인터페이스 템플릿 사용자 정의 매개변수 지원
• ✅ 2025-12-10: 사이드바에 FAQ 내장, edge-tts 버전 고정으로 TTS 서비스 불안정 문제 해결
• ✅ 2025-12-08: 고정 스크립트 여러 분할 방식(단락/행/문장) 지원, 템플릿 선택 상호작용 로직 최적화로 직접 미리보기 및 선택 지원
• ✅ 2025-12-06: 비디오 생성 API 반환 URL 경로 처리 수정, 크로스 플랫폼 호환성 지원
• ✅ 2025-12-05: Windows 통합 패키지 다운로드 추가, 이미지 및 비디오 역추론 워크플로우 최적화
• ✅ 2025-12-04: '사용자 정의素材' 기능 추가, 사용자가 자신의 사진과 비디오를 업로드하면 AI가 지능적으로 분석하여 스크립트 생성
• ✅ 2025-11-18: RunningHub 서비스 호출 병렬 처리 지원, 기록 페이지 추가, 대량 비디오 작업 생성 지원

✨ 기능 하이라이트

• ✅ 완전 자동 생성 - 주제 입력 시 자동으로 완전한 비디오 생성
• ✅ AI 지능형 스크립트 - 주제에 따라 지능적으로 해설 스크립트 작성, 직접 스크립트 작성 불필요
• ✅ AI 이미지 생성 - 각 문장에精美的 AI 일러스트레이션 매칭
• ✅ AI 비디오 생성 - AI 비디오 생성 모델(예: WAN 2.1)을 사용하여 동적 비디오 콘텐츠 생성 지원
• ✅ 직접 연결 모델 API - DashScope, OpenAI, Seedream, Seedance, Kling 등 이미지/비디오 생성 서비스 직접 호출 가능
• ✅ AI 음성 생성 - Edge-TTS, Index-TTS 등 다양한 주요 TTS 솔루션 지원
• ✅ 배경 음악 - BGM 추가 지원, 비디오 분위기 향상
• ✅ 시각적 스타일 - 다양한 템플릿 선택 가능, 독특한 비디오 스타일 제작
• ✅ 유연한 크기 - 세로, 가로 등 다양한 비디오 크기 지원
• ✅ 다양한 AI 모델 - GPT, Tongyi Qianwen, DeepSeek, Ollama 등 지원
• ✅ 원자적 기능 유연한 조합 - ComfyUI / RunningHub 워크플로우 지원, 직접 연결 API 모델도 지원, 필요에 따라 이미지, 비디오, TTS, VLM 등 기능 교체 가능

📊 비디오 생성流程

Pixelle-Video는 모듈식 설계를 채택하여 전체 비디오 생성流程이 명확하고 간결합니다:

입력 텍스트에서 최종 비디오 출력까지 전체流程이 간결하고 명확합니다: 스크립트 생성 → 이미지 계획 → 프레임별 처리 → 비디오 합성

각 단계는 유연하게 사용자 정의 가능하며, 다양한 AI 모델, 오디오 엔진, 시각적 스타일 등을 선택하여 개인화된 제작 요구를 충족할 수 있습니다.

🎬 비디오 예시

다음은 Pixelle-Video를 사용하여 생성된 실제 사례로, 다양한 주제와 스타일의 비디오 효과를 보여줍니다:

📱 확장 모듈 비디오 데모

👤 디지털 휴먼 립싱크

한국어 디지털 휴먼 립싱크

🖼️ 이미지-투-비디오

카툰 비디오

💃 동작 전이

춤추는 고양이

📱 세로 비디오 데모

🌄 인문 다큐멘터리류 - 비디오 기본 템플릿

여행길의 풍경은 사람을 잊지 못하게 한다

🔍 문화 해석류 - 비디오 기본 템플릿

Santa ID

🔭 과학 사변류 - 비디오 기본 템플릿

왜 우리는 아직 외계 문명을 찾지 못했을까?

🌱 개인 성장류 - 음성 복제

자기 계발 방법

🧠 깊은 사고류 - 기본 템플릿

안티프래질 이해하기

🏯 역사 문화류 - 고정 화면

자치통감

☀️ 감성류 - 음성 복제

겨울 햇살

📜 소설 해설류 - 자체 제작 스크립트

투파창궁

🧬 지식 과학류 - Qwen 이미지 생성

건강 지식

🖥️ 가로 비디오 데모

💰 부업 돈벌기 - 영화 템플릿

부업 돈벌기

🏛️ 역사 해설 - 사용자 정의 템플릿

자치통감 계시록

💡 팁: 이 비디오들은 주제 키워드 하나만 입력하면 AI가 완전 자동으로 생성한 것으로, 비디오 편집 경험이 전혀 필요 없습니다!

🚀 빠른 시작

🪟 Windows 원클릭 통합 패키지 (Windows 사용자 권장)

Python, uv 또는 ffmpeg 설치 불필요, 원클릭으로 바로 사용 가능!

👉 Windows 원클릭 통합 패키지 다운로드

1. 최신 Windows 원클릭 통합 패키지를 다운로드하여 압축 해제
2. start.bat을 더블 클릭하여 웹 인터페이스 실행
3. 브라우저가 자동으로 http://localhost:8501 열림
4. '⚙️ 시스템 설정'에서 LLM API 및 이미지 생성 서비스 구성
5. 비디오 생성 시작!

💡 팁: 통합 패키지에는 모든 종속성이 포함되어 있어 수동으로 환경을 설치할 필요가 없습니다. 처음 사용 시 API 키만 구성하면 됩니다.

소스 코드 설치 (macOS / Linux 사용자 또는 사용자 정의가 필요한 사용자에게 적합)

사전 환경 종속성

시작하기 전에 Python 패키지 관리자 uv와 비디오 처리 도구 ffmpeg를 설치해야 합니다:

uv 설치

uv 공식 문서를 방문하여 시스템에 적합한 설치 방법을 확인하세요: 👉 uv 설치 가이드

설치 완료 후 터미널에서 uv --version을 실행하여 설치 성공 여부를 확인합니다.

ffmpeg 설치

macOS

brew install ffmpeg

Ubuntu / Debian

sudo apt update
sudo apt install ffmpeg

• 다운로드 주소: https://ffmpeg.org/download.html
• 다운로드 후 압축 해제, bin 디렉토리를 시스템 환경 변수 PATH에 추가

Windows

설치 완료 후 터미널에서 ffmpeg -version을 실행하여 설치 성공 여부를 확인합니다.

1단계: 프로젝트 다운로드

git clone https://github.com/AIDC-AI/Pixelle-Video.git
cd Pixelle-Video

2단계: 웹 인터페이스 시작

# uv로 실행 (권장, 자동으로 종속성 설치)
uv run streamlit run web/app.py

브라우저가 자동으로 http://localhost:8501 열림

3단계: 웹 인터페이스에서 구성

• LLM 설정: AI 모델 선택(예: Tongyi Qianwen, GPT 등) 및 API Key 입력
• ComfyUI / RunningHub 설정: 워크플로우를 사용하여 이미지, 비디오 또는 음성을 생성하려면 로컬 ComfyUI 주소 또는 RunningHub API Key 구성
• API 미디어 모델 설정: 이미지/비디오 모델을 직접 연결하려면 DashScope, OpenAI, ARK, Kling 등 공급자의 API Key, Base URL 및 프록시 옵션 구성

처음 사용 시 '⚙️ 시스템 설정' 패널을 펼쳐 다음을 입력합니다:

설정 후 '설정 저장'을 클릭하면 비디오 생성이 가능합니다!

💻 사용 방법

웹 인터페이스를 열면 3열 레이아웃이 표시됩니다. 각 부분을 자세히 설명합니다:

⚙️ 시스템 설정 (처음 사용 시 필수)

처음 사용 시 설정이 필요합니다. '⚙️ 시스템 설정' 패널을 펼칩니다:

1. LLM 설정 (대규모 언어 모델)

비디오 스크립트를 생성하는 AI입니다.

• 드롭다운 메뉴에서 사전 설정 모델 선택 (Tongyi Qianwen, GPT-4o, DeepSeek 등)
• 선택 시 base_url과 model이 자동으로 채워짐
• '🔑 API Key 받기' 링크를 클릭하여 등록하고 키 획득

빠른 선택 사전 설정

• API Key: 키 입력
• Base URL: API 주소
• Model: 모델 이름

수동 설정

2. ComfyUI / RunningHub 설정

ComfyUI 워크플로우를 통해 비디오 이미지, 비디오 클립 또는 음성을 생성하는 데 사용됩니다.

• ComfyUI URL: 로컬 ComfyUI 서비스 주소 (기본값 http://127.0.0.1:8188)
• '연결 테스트'를 클릭하여 서비스 사용 가능 여부 확인

로컬 배포 (권장)

• RunningHub API Key: 클라우드 이미지 생성 서비스의 키

클라우드 배포

3. API 미디어 모델 설정

ComfyUI/RunningHub에 의존하지 않고 모델 공급자의 이미지, 비디오 또는素材 분석 기능을 직접 호출하는 데 사용됩니다.

• OpenAI / GPT Image: GPT 이미지 생성 모델용
• DashScope / Wan / HappyHorse: Tongyi Wanxiang 이미지, 비디오 생성용
• Volcengine ARK / Seedream / Seedance: ByteDance Seedream 이미지 및 Seedance 비디오 생성용
• Kling AI / Keling: Kling 비디오 생성용

지원되는 공급자

• API Key / Access Key / Secret Key: 모델 공급자 인증 정보
• Base URL: 모델 서비스 주소, WebUI가 공식 기본 주소 제공
• 로컬 프록시: 예: http://127.0.0.1:9090
• 프록시 활성화: 각 공급자별로 로컬 프록시 사용 여부 개별 선택 가능
• 모델 요청 매개변수 출력: 디버깅용, 터미널에 전송된 prompt, 모델 이름 및 입력 파일 경로 출력

설정 가능 항목

💡 ComfyUI 또는 RunningHub만 사용하는 경우 API 미디어 모델 설정을 입력하지 않아도 됩니다. api/... 워크플로우를 선택하는 경우 해당 공급자의 키를 구성해야 합니다.

설정 완료 후 '설정 저장'을 클릭합니다.

📝 콘텐츠 입력 (왼쪽 열)

생성 모드

• AI 콘텐츠 생성: 주제 입력, AI가 자동으로 스크립트 작성
• 적합: 빠르게 비디오 생성, AI가 스크립트 작성
• 예: '독서 습관을 들여야 하는 이유'
• 고정 스크립트 콘텐츠: 전체 스크립트 직접 입력, AI 생성 건너뜀
• 적합: 기존 스크립트가 있는 경우, 바로 비디오 생성

배경 음악 (BGM)

• BGM 없음: 순수 음성 해설
• 내장 음악: 사전 설정된 배경 음악 선택 (예: default.mp3)
• 사용자 정의 음악: 음악 파일(MP3/WAV 등)을 bgm/ 폴더에 넣기
• 'BGM 듣기'를 클릭하여 음악 미리듣기

🎤 음성 설정 (가운데 열)

TTS 워크플로우

• 드롭다운 메뉴에서 TTS 워크플로우 선택 (Edge-TTS, Index-TTS 등 지원)
• 시스템이 자동으로 workflows/ 폴더에서 TTS 워크플로우 스캔
• ComfyUI를 이해한다면 사용자 정의 TTS 워크플로우 가능

참조 오디오 (선택 사항)

• 음성 복제를 위한 참조 오디오 파일 업로드 (MP3/WAV/FLAC 등 형식 지원)
• 음성 복제를 지원하는 TTS 워크플로우에 적합 (예: Index-TTS)
• 업로드 후 바로 듣기 가능

미리보기 기능

• 테스트 텍스트 입력 후 '음성 미리보기'를 클릭하여 효과 확인
• 참조 오디오를 사용한 미리보기 지원

🎨 시각 설정 (가운데 열)

이미지 생성

AI가 어떤 스타일의 이미지를 생성할지 결정합니다.

• 드롭다운 메뉴에서 이미지 생성 워크플로우 선택
• 로컬 배포(selfhost) 및 클라우드(RunningHub) 워크플로우 지원
• api/... 직접 연결 이미지 모델 워크플로우 선택도 지원 (시스템 설정에서 해당 공급자 키 입력 필요)
• 기본값은 image_flux.json 사용
• ComfyUI를 이해한다면 workflows/ 폴더에 자신의 워크플로우를 넣을 수 있음

ComfyUI 워크플로우

• 생성할 이미지의 너비와 높이 설정 (단위: 픽셀)
• 기본값 1024x1024, 필요에 따라 조정 가능
• 참고: 모델마다 크기 제한이 다름

이미지 크기

• 이미지의 전체 스타일 제어 (영어로 작성 필요)
• 예: Minimalist black-and-white matchstick figure style illustration, clean lines, simple sketch style
• '스타일 미리보기'를 클릭하여 효과 테스트 가능

프롬프트 접두사 (Prompt Prefix)

비디오 템플릿

비디오 화면의 레이아웃과 디자인을 결정합니다.

• static_*.html: 정적 템플릿 (AI 생성 미디어 불필요, 순수 텍스트 스타일)
• image_*.html: 이미지 템플릿 (AI 생성 이미지를 배경으로 사용)
• video_*.html: 비디오 템플릿 (AI 생성 비디오를 배경으로 사용)

템플릿 명명 규칙

• 드롭다운 메뉴에서 템플릿 선택, 크기별로 그룹화 표시 (세로/가로/정사각형)
• '템플릿 미리보기'를 클릭하여 사용자 정의 매개변수로 효과 테스트 가능
• HTML을 이해한다면 templates/ 폴더에 자신의 템플릿 생성 가능
• 🔗 모든 템플릿 효과 이미지 보기

사용 방법

API 비디오 생성

동적 비디오를 지원하는 템플릿 또는 확장 워크플로우를 선택한 경우 직접 연결 API 비디오 모델을 사용하여 클립을 생성할 수 있습니다.

• DashScope Wan / HappyHorse, Kling, Seedance 등 비디오 모델 지원
• 모델 기능에 따라 해상도, 화면 비율, 길이, 워터마크, 원본 오디오 등 매개변수 표시 지원
• 네트워크 다운로드 재시도 및 콘텐츠 심사 실패 시 프롬프트 중립화 재시도 지원
• '사용자 정의素材' 워크플로우에서 API 비디오 클립은 가능한 내레이션 오디오 길이에 맞춰 생성되며, 인접 클립 정보를 사용하여 연속성 향상

🎬 비디오 생성 (오른쪽 열)

생성 버튼

• 모든 매개변수 구성 후 '🎬 비디오 생성' 클릭
• 실시간 진행률 표시 (스크립트 생성 → 이미지 생성 → 음성 합성 → 비디오 합성)
• 생성 완료 후 자동으로 비디오 미리보기 표시

진행률 표시

• 현재 단계 실시간 표시
• 예: '장면 3/5 - 일러스트레이션 생성'

비디오 미리보기

• 생성 완료 후 자동 재생
• 비디오 길이, 파일 크기, 장면 수 등 정보 표시
• 비디오 파일은 output/ 폴더에 저장

❓ 자주 묻는 질문

Q: 처음 사용 시 얼마나 걸리나요? A: 생성 시간은 비디오 장면 수, 네트워크 상태 및 AI 추론 속도에 따라 다르며, 일반적으로 몇 분 내에 완료됩니다.

1. LLM 모델 변경 (모델마다 스크립트 스타일이 다름)
2. 이미지 크기 및 프롬프트 접두사 조정 (이미지 스타일 변경)
3. TTS 워크플로우 변경 또는 참조 오디오 업로드 (음성 효과 변경)
4. 다른 비디오 템플릿 및 크기 시도

Q: 비디오 효과가 마음에 들지 않으면 어떻게 하나요? A: 다음을 시도해 볼 수 있습니다:

Q: 비용은 얼마인가요? A: 이 프로젝트는 완전 무료 실행을 완벽히 지원합니다!

• 완전 무료方案: LLM에 Ollama(로컬 실행) + ComfyUI 로컬 배포 = 0원
• 권장方案: LLM에 Tongyi Qianwen(비용 매우 낮음, 가성비 좋음) + ComfyUI 로컬 배포
• 클라우드方案: LLM에 OpenAI + 이미지에 RunningHub (비용은 높지만 로컬 환경 불필요)

선택 제안: 로컬에 GPU가 있다면 완전 무료方案을 권장하며, 그렇지 않으면 Tongyi Qianwen(가성비 좋음)을 권장합니다.

🤝 참고 프로젝트

Pixelle-Video의 디자인은 다음 우수 오픈 소스 프로젝트에서 영감을 받았습니다:

• Pixelle-MCP - ComfyUI MCP 서버, AI 어시스턴트가 ComfyUI를 직접 호출 가능
• MoneyPrinterTurbo - 우수한 비디오 생성 도구
• NarratoAI - 영화 해설 자동화 도구
• MoneyPrinterPlus - 비디오 제작 플랫폼
• ComfyKit - ComfyUI 워크플로우封装 라이브러리

이 프로젝트들의 오픈 소스 정신에 감사드립니다! 🙏

💬 커뮤니티 소통

아래 QR 코드를 스캔하여 커뮤니티에 가입하고 최신 동향 및 기술 지원을 받으세요:

📢 피드백 및 지원

• 🐛 문제 발생: Issue 제출
• 💡 기능 제안: Feature Request 제출
• ⭐ Star 주기: 이 프로젝트가 도움이 되었다면 Star를 눌러 지원해 주세요!

📝 라이선스

이 프로젝트는 Apache 2.0 라이선스를 따릅니다. 자세한 내용은 LICENSE 파일을 확인하세요.

📚 시리즈 작업

⭐ Star History