始智AI wisemodel.cn开源社区
始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。欢迎《》以及《》。wisemodel社区上线，H800/H20等资源上线，价格实惠，灵活方便，支持在线微调训练模型，及模型和，并。
智谱AI的图生视频模型CogVideoX-5B-I2V已经在始智AI wisemodel.cn社区开源！wisemodel社区上支持通过ComfyUI在线体验，以及通过“算力”模块“创建开发环境”自行微调或部署，感兴趣的朋友可以前往了解和尝试。
https://wisemodel.cn/models/ZhipuAI/CogVideoX-5b-I2V
01
模型介绍
1.1 3D VAE
团队自研了一个高效的三维变分自编码器结构（3D VAE），将原视频空间压缩至2%大小，大大减少了视频扩散生成模型的训练成本及训练难度。
模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。团队采用上下文并行技术以适应大规模视频处理。
在实验中，团队发现大分辨率编码易于泛化，而增加帧数则挑战较大。
因此，团队分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。
1.2 MoE Transformer
团队使用VAE的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。
同时，他们使用T5，将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。
最后，团队反向拼接嵌入来恢复原始潜在空间形状，并使用VAE进行解码以重建视频。
1.3 数据
团队开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。
通过video-llama训练的过滤器，他们标注并筛选了20000个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。
视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。
为此，团队还提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。
这种方法通过Panda70M模型生成简短字幕，使用CogView3模型生成密集图像字幕，然后使用GPT-4模型总结生成最终的短视频。
他们还微调了一个基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。
02
创建开发环境自行部署
进入wisemodel社区的“算力”模块，选择H20机型的单卡配置，然后点击“创建开发环境”。（CogVideoX-5B-I2V正常运行大概占用37G左右的显存）
填写创建开发环境基本信息，选择好镜像、配置和模型文件，然后直接点击“下一步”
确认计费方式之后，可以直接点击“提交订单”
开发环境的创建流程就完成了，留意右上角的状态，刚创建时会是“启动中”的状态，大概15-20s左右，部分启动环节时间会更长一些，按量计费的只有启动成功之后才会开始计费。
启动成功后，状态变成“运行中”，此时可以根据各自的开发习惯，通过notebook进行开发，或者通过ssh访问开发环境进行开发。下面先以SSH访问为例：
在本地的命令提示行中分别复制ssh地址和密码，登录到开发环境中。
进入开发环境之后，可以先执行nvidia-smi查看一下GPU相关的信息。
进入到/workspace工作目录，workspace是在/root目录下面，/workspace目录下面已经初始化了/code、/dataset、/model三个子目录，分别可以用来放代码、数据集和模型文件，也可以根据自己的需求再创建目录。
进入code目录先把CogVideo的代码下载下来，然后进入到CogVideo目录内：
下面安装一下requirements.txt内要求的依赖包，执行pip install -r requirements.txt 时，提示pip命令未找到，先更新一下基础环境，把pip命令安装上：
然后设置一下全局的安装镜像源，然后就重新安装requirements.txt内要求的依赖包，这时可以看到开始正常安装了，安装过程预计会持续几分钟：
安装完成之后，进入到/inference的子目录内，这里提供了多种demo，了解到gradio_composite_demo跟hf的space的demo是一样的，继续进入到/gradio_composite_demo的子目录。
这个demo运行要求一些新的依赖包，再次执行 pip install -r requirements.txt，完成相关环境的安装。安装完成之后，先通过vim app.py查看一下代码，把模型的路径设为本地的路径。如果是模型下载到了自己的工作目录就填写自己的路径，这里使用前面选择的共享模型的地址：
在创建开发环境时选择了模型文件的，共享模型的路径可以回到控制台上“文件-共享模型文件”处获取相应的地址：
然后，先执行一下 python app.py，中间会报一些错误，根据错误提示进行调整，从网络上搜到是缺少opencv的依赖包，继续安装：
再次执行/opt/conda/bin/python app.py 之后，发现模型已经正常加载，但端口报错了，可能是前面的执行虽然报错了但仍然把端口占用了，下面把相应的进程先删除
重新执行/opt/conda/bin/python app.py 之后，模型的加载和部署就成功了。
部署成功之后可以回到控制台的“服务端口”申请公网访问的域名地址（预计10月8日晚正式上线该服务）。获取的域名地址在浏览器打开可以看到如下页面，上传一张图片和输入prompt之后，开始视频生成的步骤，在H20单卡上大致需要6分多钟的时间。
目前平台上默认支持每个开发环境开放9000端口，申请域名地地址之后可以在浏览器或api形式访问到部署的模型服务。
我们也将前面部署过程的成果制作了一个镜像文件CogVideoX-Deploy-Finetune，大家如果在wisemodel上可以选择该镜像文件进行创建开发环境。
03
ComfyUI在线运行
wisemodel社区也提供了通过ComfyUI工作流的方式直接在线运行CogVideoX-5B-I2V。在CogVideoX-5B-I2V的模型详情页面上点击“在线部署”，选择“部署在线体验”
填写模型部署的基本信息，主要是选择好配置和填写好名称等，填写好相应信息之后，直接点击“下一步”：
然确认一下计费方式，确认之后可以直接点击“提交订单”。
提交之后显示模型处于“启动中”的状态，大概30s左右启动成功。
启动成功之后的状态如下图所示，点击该模型就可以进入到在线体验的页面了：
进入comfyui的工作界面之后，可以通过右键添加CogVideoWrapper节点，创建CogVideoX-5B-I2V的工作流：
工作流创建完成后，按要求输入prompt和上传图片，点击右上角的“Queue Prompt”，模型就可以正常运行了，中间如果出现报错，就继续调整优化相应的工作流。
输入的图片为：
输入的prompt为：
fireworks display over night city. The video is of high quality, and the view is very clear. High quality, masterpiece, best quality, highres, ultra-detailed, fantastic.
下面就是两种部署模式生成的视频内容：
ComfyUI工作流生成视频内容
自行部署生成视频内容
视频生成交流群
编辑丨赵雅鑫
----- END -----
wisemodel相关
系统升级
系列模型：
关于wisemodel更多
1
欢迎持续关注和支持
开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态，
2
欢迎加盟wisemodel开源社区
始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn
3
欢迎投稿优质内容
欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。
4
关于wisemodel开源社区
始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。
向上滑动查看
热门跟贴