一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源,并且带领大家在 ComfyUI 环境下使用 SVD的模型,根据任何图片生成一个小短视频。

答疑群:加入【PAI-AIGC活动答疑群】搜索钉群: 52485000325

活动链接:/topic/pai/svd

SVD技术介绍

Stable Video Diffusion(以下简称 SVD),是一个图像到视频模型模型,能够以每秒 3 到 30 帧的可自定义的帧率生成 14 帧和 25 帧的视频。去年 11 月,Stability.AI 发布了它的 1.0 版本。

而这个1.1版本的模型经过训练,可在 1024x576 的分辨率下生成 25 帧。总体上他是一个生成短视频,类似gif形式的一个模型,而这个也是目前来说开源并且在直接生成视频的模型效果比较好的一个了。

还有一点需要注意,这个 SVD 和我们常用的生成视频类的操作,比如它和 AnimateDiff 相比,这是不一样的技术。但他们也可以同时放在一起使用,比如我们先用 SVD 生成一个视频,hires提升分辨率后再用 AnimateDiff 重绘等等,这又是后话了。


资源领取

点击https://click.aliyun.com/m/1000391701/ 领取 PAI-EAS 免费试用 1 个月 A10/V100 资源。注意这个免费每日是有一定限额的,先到先得哦~



等待开通完成,点击前往控制台


如果免费额度用完了,可以购买 PAI-EAS 59元抵扣200元资源包 https://www.aliyun.com/activity/2024purchase/bigdata_ai?


来到 PAI 控制台后,推荐大家在这里切换区域为 华北 2(北京),组合开通勾选OSS的选项,因为已经开通过所以默认勾上了。然后等待部署,部署完成后就可以前往默认工作空间。


找到左侧的 EAS 服务来部署一个实例。首次使用的时候我们需要先开通授权一下服务。

部署ComfyUI

点击部署服务,自定义部署。


自定义输入实例名称,然后在镜像内找到comfyui,版本选择0.3。


image.png


在下面选择资源信息,注意这里非常重要,需要选择试用活动的GPU,推荐大家选择A10的GPU,如果缺货也可以选择 V100、T4 等。


选择完成,都配置好后,我们点击部署,等待部署完成。由于这个镜像预制好了很多节点,所以部署可能要等上几分钟到10分钟左右。如果觉得等了很久也可以点进去服务日志查看日志输出,部署情况。等到看到这行“运行中”,即为部署完成了,我们就可以直接进入ComfyUI了。


启动ComfyUI进行模型推理

  1. 单击目标服务的服务方式列下的查看Web应用


2. 在WebUI页面进行模型推理验证。

我们前面提到了SVD是一个图片生成视频的模型,所以这里左侧是一个文生图的工作流,首先生成了一张图片。然后再把这张图片输入到右侧的SVD模型,进行视频生成。

根据需要,选择文生图的模型和图生视频的模型,本方案使用默认配置。然后在CLIP文本编码器中输入Prompts,修改长宽为16:9(例如384:216),单击提示词队列, 等待工作流运行完成即可获得AI生成的视频。



3. 请在【合并为视频】将视频改为GIF格式,视频生成后,右键单击生成的视频,选择 Save preview保存图像,即可将生成的GIF格式视频保存到本地,通过活动页【提交作品】参与活动!


ComfyUI 参数讲解

左侧的文生图可以调节模型,分辨率。然后是正负prompt,采样时候的种子,采样器等等。都可以随意修改。



然后来看SVD这边的参数。首先就是这个SVD 图像到视频的条件。设置宽、高,这个是视频的分辨率,不要调的太大。然后是帧数,就是一共生成多少帧。动态bucketid这个值越大,画面运动幅度越大。帧率就不用多说了。



然后是这个线性CFG引导。这个摆的位置有些靠下,其实他是在模型和k采样器之间的。他的作用是在不同的帧之间,按线性来缩放CFG值,他会从这个最小CFG值随着帧数按线性增大到K采样器设置的值。比如我们这个节点设置了为1,那么实际上的CFG就是跟随帧数从1变化到2.5。


整体来说,这个工作流就是一个入门的文生视频工作流,如果我们有需要,也可以把生成图像部分换为自己的一个图像输入,就是最原本的SVD图生视频了。

那么后续还有没有更高级的玩法呢?当然有,这里采样器输出的是每一帧的图像,我们当然也可以为他接上高清修复的流程,让他能放大,再接个其他的重绘流程都是可以的。后续就留给大家任意发挥了~


常见问题

更多操作问题可参考:https://help.aliyun.com/zh/pai/use-cases/deploy-ai-video-generation-application-in-eas?

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1天前
|
人工智能 前端开发 算法
参加完全球开发者大会之后,我一个小前端尝试使用了一些AI模型
参加完全球开发者大会之后,我一个小前端尝试使用了一些AI模型
|
1天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI 操作报错合集之在PAI-DSW(平台上的AI数据科学工作站)上尝试修改实例名时,收到"实例不存在"的错误信息如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
2天前
|
人工智能 数据安全/隐私保护
Sora超逼真视频引恐慌!Nature刊文警示AI视频模型,或在2024年颠覆科学和社会
【4月更文挑战第27天】OpenAI公司的新型AI工具Sora能根据文字提示生成超逼真视频,引发关注。尽管已有类似产品,如Runway的Gen-2和谷歌的Lumiere,Sora以其高质量生成效果领先。该技术的进步可能导致2024年全球政治格局的颠覆,同时带来虚假信息的挑战。OpenAI已组建“红队”评估风险,但虚假视频识别仍是难题。尽管有水印解决方案,其有效性尚不确定。Sora在教育、医疗和科研等领域有潜力,但也对创意产业构成威胁。
11 2
|
2天前
|
人工智能 数据库 芯片
【报告介绍】中国AI大模型产业:发展现状与未来展望
【4月更文挑战第27天】中国AI大模型产业快速发展,受益于政策支持、技术创新及市场需求,已在电商等领域广泛应用,展现巨大潜力。但面临算力瓶颈、技术局限和数据不足等挑战。未来,AI大模型将向通用化与专用化发展,开源趋势将促进小型开发者参与,高性能芯片升级也将助力产业进步。[报告下载链接](http://download.people.com.cn/jiankang/nineteen17114578641.pdf)
11 2
|
3天前
|
机器学习/深度学习 人工智能 算法
AI大模型学习理论基础
本文探讨了AI大模型学习的理论基础,包括深度学习(模拟神经元工作原理,通过多层非线性变换提取特征)、神经网络结构(如前馈、循环和卷积网络)、训练方法(监督、无监督、强化学习)、优化算法(如SGD及其变种)、正则化(L1、L2和dropout防止过拟合)以及迁移学习(利用预训练模型加速新任务学习)。这些理论基础推动了AI大模型在复杂任务中的应用和人工智能的发展。
|
3天前
|
人工智能 Ubuntu 机器人
AI电销机器人系统源码部署之:freeswitch安装Linux
在Linux服务器上安装FreeSWITCH的简要步骤:更新软件包,安装依赖(如build-essential,libssl-dev等),下载v1.10.7源代码,解压并配置,编译,然后运行`./bootstrap.sh -j`,`./configure`,`make`,`make install`。启动FreeSWITCH服务,配置SIP用户和路由,测试连接与通话,并确保防火墙打开SIP(5060)和RTP端口。注意,实际部署可能需按需求调整。
|
4天前
|
机器学习/深度学习 人工智能 安全
模型被投毒攻击,如今有了新的安全手段,还被AI顶刊接收
【4月更文挑战第25天】研究人员提出了一种结合区块链和分布式账本技术的联邦学习系统,以增强对抗投毒攻击的安全性。该系统利用智能合约支持的点对点投票和奖励惩罚机制,提高模型聚合的鲁棒性。此创新方法首次将区块链应用于联邦学习,减少中心化服务器的风险,但同时也面临计算成本增加、延迟问题以及智能合约安全性的挑战。论文已被AI顶刊接收,为金融、医疗等领域提供更安全的机器学习解决方案。[[1](https://ieeexplore.ieee.org/document/10471193)]
13 3
|
5天前
|
人工智能 搜索推荐
杨笛一新作:社恐有救了,AI大模型一对一陪聊,帮i人变成e人
【4月更文挑战第24天】杨笛一团队研发的AI大模型,以“AI伙伴”和“AI导师”框架帮助社恐人群提升社交技能。通过模拟真实场景和个性化反馈,该方法降低训练门槛,增强学习者自信。但也有挑战,如保持AI模拟的真实性,防止反馈偏见,并避免过度依赖。研究强调,AI应作为辅助工具而非替代。[论文链接](https://arxiv.org/pdf/2404.04204.pdf)
9 1
|
6天前
|
人工智能 搜索推荐 决策智能
【AI Agent系列】【阿里AgentScope框架】1. 深入源码:详细解读AgentScope中的智能体定义以及模型配置的流程
【AI Agent系列】【阿里AgentScope框架】1. 深入源码:详细解读AgentScope中的智能体定义以及模型配置的流程
40 0
|
6天前
|
存储 人工智能 数据库
【AI大模型应用开发】MemGPT原理与快速上手:这可能是目前管理大模型记忆的最专业的框架和思路
【AI大模型应用开发】MemGPT原理与快速上手:这可能是目前管理大模型记忆的最专业的框架和思路
18 0

热门文章

最新文章

http://www.vxiaotou.com