百元成本炼成开源视频模型Pusa：基于Mochi微调，低成本复现高质量

Pusa 是一款基于 Mochi 微调的开源视频生成模型，具有低成本、高性能的特点，以下是其详细介绍：

模型特点

• 多任务支持：Pusa 支持多种视频生成任务，包括文本到视频、图像到视频、帧插值、视频过渡、无缝循环、扩展视频生成等。
• 低成本高效率：仅需 0.1k H800 GPU 小时，总成本为 0.1k 美元（即100美元），硬件需求为16个 H800 GPU。
• 完全开源：提供了完整代码库、详细架构规格和全面的训练方法，方便开发者复现和改进。

技术架构

• 帧级噪声控制与矢量化时间步：Pusa 引入了帧级噪声控制和矢量化的时间步，时间步数从传统的 1000 个增加到数千个，极大地提升了模型的灵活性和可扩展性。
• 非破坏性修改：对基础模型的适配保留了其原有的文本到视频生成能力，通过轻微微调即可适应多种视频生成任务。
• 通用适用性：Pusa 的方法不仅适用于 Mochi 模型，还可以轻松应用于其他领先的视频扩散模型。

使用方法

• 安装：
  bash

  
                      git clone https://github.com/genmoai/models
                      cd models
                      pip install uv
                      uv venv .venv
                      source .venv/bin/activate
                      uv pip install setuptools
                      uv pip install -e . --no-build-isolation

  如果需要安装 Flash Attention，可以使用：

  bash

  uv pip install -e .[flash] --no-build-isolation

• 下载权重：
  • 使用 Hugging Face CLI：
    bash

    pip install huggingface_hub
                                huggingface-cli download RaphaelLiu/Pusa-V0.5 --local-dir

  • 或者直接从 Hugging Face 下载到本地。
• 基本使用：
  • 文本到视频生成：
    bash

    python ./demos/cli_test_ti2v_release.py \
                                --model_dir "/path/to/Pusa-V0.5" \
                                --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \
                                --prompt "A man is playing basketball" \
                                --num_steps 30
                                

  • 图像到视频生成：
    bash

    python ./demos/cli_test_ti2v_release.py \
                                --model_dir "/path/to/Pusa-V0.5" \
                                --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \
                                --prompt "Your_prompt_here" \
                                --image_dir "/path/to/input/image.jpg" \
                                --cond_position 1 \
                                --num_steps 30
                                

项目资源

• GitHub 仓库：https://github.com/Yaofang-Liu/Pusa-VidGen
• Hugging Face 模型：https://huggingface.co/RaphaelLiu/Pusa-V0.5