个人网站和企业网站,凡科小程序怎么制作,太原网站建设信息推荐,广告设计公司的起名引子 Sora#xff0c;2024年2月15日#xff0c;OpenAI发布的人工智能文生视频大模型。支持60秒视频生成#xff0c;震荡了国内国际学术圈、广告圈、AI教培圈。Sora最主要有三个优点#xff1a;第一#xff0c;“60s超长视频”#xff0c;之前文本生成视频大模型一直无法真…引子 Sora2024年2月15日OpenAI发布的人工智能文生视频大模型。支持60秒视频生成震荡了国内国际学术圈、广告圈、AI教培圈。Sora最主要有三个优点第一“60s超长视频”之前文本生成视频大模型一直无法真正突破AI视频的4秒连贯性瓶颈而Sora直接做到了60秒连贯视频。第二单视频既能有多角度镜头也能一镜到底可以很好地展现场景中的光影关系、各个物体间的物理遮挡、碰撞关系并且镜头丝滑可变。第三Sora所合成的内容与物理世界规律保持一致即不会出现违反世界客观规律的视觉信息。嗯这段是我抄的其实还是有些不符合物理世界规律的地方。说明OpenAI也亲自下场来卷文生图的这个领域了当然我们现在没办法直接试用Sora看效果那么今天的主角出场Open-Sora北京大学与兔展智能联合发起的Sora复现计划旨在联合开源社区力量完成对Sora的复现。2024年3月1日正式公开这也快一个月了估摸着bug也解的差不多了。OK那就让我们开始吧。
一、环境安装
1、代码仓库
https://github.com/hpcaitech/Open-Sora
cd /datas/work/zzq
mkdir OpenSora cd OpenSora
git clone https://github.com/hpcaitech/Open-Sora
2、docker内安装依赖
docker pull pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel
docker run -it --gpusall --rm -v /datas/work/zzq/:/workspace pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel bash
apt-get update apt-get install libgl1
apt-get install libglib2.0-0
pip3 install torch torchvision -i Simple Index
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
pip install packaging ninja -i Simple Index
pip install flash-attn --no-build-isolation -i Simple Index
cd Open-Sora
pip install -v . -i Simple Index
pip install gradio -i Simple Index
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings --build-option--cpp_ext --config-settings --build-option--cuda_ext .
3、模型下载
https://github.com/hpcaitech/Open-Sora?tabreadme-ov-file#model-weights
stabilityai 模型
魔搭社区
t5模型
https://huggingface.co/DeepFloyd/t5-v1_1-xxl/tree/main
根据16X512X512.py文件中的设置放置预训练模型 二、测试
1、推理
显卡不支持关掉flashattn torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py --ckpt-path /workspace/OpenSora/Open-Sora/OpenSora-v1-HQ-16x256x256.pth --prompt-path ./assets/texts/t2v_samples.txt 注--ckpt-path一定要是绝对路径否则会网络下载模型
视频生成路径 生成视频效果 OpenSora生成视频效果
