备案控制台
开发者社区 ModelScope模型即服务 文章 正文

在魔搭使用SD-WebUI，玩转AIGC！

2024-04-23 149
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
交互式建模 PAI-DSW，5000CU*H 3个月
推荐场景：
AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装
简介： stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

引言

stable-diffusion-webui是一个很棒的开源项目，它是一款基于web的GUI应用，让用户能够方便地与 stable-diffusion模型进行交互，选择不同的模型，并实现从文本到图像（txt2img）的转换以及其他图像处理任务。也可进行图像生成图像以及图像高分辨、重绘（inpainting）、编辑等工作。

stable-diffusion-webui为创作者们提供了友好且直观的操作界面，无需直接编写代码就能够利用丰富的模型进行创作。用户也可以通过简单的参数配置，比如调整生成图片的尺寸、采样方式和步数、选择不同的预训练模型、调整seed等，来定制和优化生成图像的效果。同时，该Web UI也支持用户进行个性化训练，即在一定条件下训练自己的模型。

stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

企业微信截图_17138385179444.png


更多信息，访问开源链接：

https://github.com/AUTOMATIC1111/stable-diffusion-webui

最佳实践

环境配置和安装：

  1. python 3.10及以上版本
  2. pytorch推荐2.0及以上版本
  3. 建议使用CUDA 11.8及以上

本文在魔搭社区免费提供的GPU免费算力上体验：

2e860469-c919-49e6-a75a-372c92a7bfdc[1].png

开发者也可以使用modelscope的官方镜像，在云端或自有的设备上体验。

GPU环境镜像(python3.10)：

registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1

下载和部署stable-diffusion-webui

clone代码，并安装相关依赖：

%cd /mnt/workspace/
# 安装依赖和下载源码
!apt update
!apt install -y aria2
!pip install gradio==3.41.2
!pip install insightface
!pip install gdown
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

下载一些经典的文生图模型（包含SD基础模型，Lora，Controlnet等），并存放到models目录的相关子目录下。小伙伴们可以选择自己希望使用的模型并下载，如下代码注释了模型类型，并映射到了对应的存储文件夹。

# 基础模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-1/repo?Revision=master&FilePath=v2-1_768-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o v2-1_768-ema-pruned.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-base/repo?Revision=master&FilePath=512-base-ema.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o 512-base-ema.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.ckpt
# VAE模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.vae.pt
# clip模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git /mnt/workspace/stable-diffusion-webui/openai/clip-vit-large-patch14
# controlnet模型下载
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=canny-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o canny-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=depth-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o depth-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=hed-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o hed-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=openpose-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o openpose-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=scribble-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o scribble-sd21-safe.safetensors
# Embedding模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/negative.git /mnt/workspace/stable-diffusion-webui/embeddings/negative
# lora模型下载
!git clone https://www.modelscope.cn/sd_lora/embed_lora.git /mnt/workspace/stable-diffusion-webui/models/Lora/positive
# 放大模型（upscaler）下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/upscale/repo?Revision=master&FilePath=4x-UltraSharp.pth" -d /mnt/workspace/stable-diffusion-webui/models/ESRGAN -o 4x-UltraSharp.pth

本文涉及的模型链接：

基础模型：

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-2-1

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-2-base

https://modelscope.cn/models/AI-ModelScope/anything-v3.0

VAE模型：

https://modelscope.cn/models/AI-ModelScope/sd-vae-ft-mse-original

clip模型：

https://modelscope.cn/models/AI-ModelScope/clip-vit-large-patch14

Controlnet模型：

https://modelscope.cn/models/sd_lora/ControlNet

Embedding模型：

https://modelscope.cn/modelsAI-ModelScope/negative

lora模型：

https://modelscope.cn/modelsAI-ModelScope/sd_lora/embed_lora

放大模型：

https://modelscope.cn/models/AI-ModelScope/upscale

同时，魔搭社区还有丰富的基础模型，lora，视频生成模型，id相关的如facechain，instantid等，如果仅需要下载单个模型文件，在模型的主页，选择模型文件，单机需要下载的模型文件，右上角即可点击下载或复制下载链接。

image.png

运行sd-webui的前端gradio组件，拉起服务：

%cd stable-diffusion-webui
!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --lowvram

切换模型，可以看到不同的生成效果：

Anything-V3.0

image.png

sd2.1

image.png

文章标签：
人工智能
物联网
异构计算
搜索推荐
存储
ModelScope运营小助手
目录
相关文章
阿里云云原生
|
1天前
|
存储 人工智能 物联网
【体验有奖】用 AI 画春天，函数计算搭建 Stable Diffusion WebUI
【体验有奖】用 AI 画春天，函数计算搭建 Stable Diffusion WebUI
阿里云云原生
637 3
阿里云大数据Al技术
|
1天前
|
人工智能 异构计算
基于PAI-DSW使用SD WebUI实现AI扩图功能
在本教程中，您将学习如何在阿里云交互式建模（PAI-DSW）中，使用Stable-Diffusion-WebUI实现AI扩图功能。
阿里云大数据Al技术
124237 6
基于PAI-DSW使用SD WebUI实现AI扩图功能
w风雨无阻w
|
7月前
|
人工智能 物联网
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
w风雨无阻w
891 0
w风雨无阻w
|
7月前
|
人工智能 编解码
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装（2）
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装
w风雨无阻w
210 0
w风雨无阻w
|
7月前
|
存储 人工智能 算法
AI 绘画Stable Diffusion 研究（四）sd文生图功能详解（上）
AI 绘画Stable Diffusion 研究（四）sd文生图功能详解（上）
w风雨无阻w
608 0
w风雨无阻w
|
7月前
|
人工智能 编解码 C++
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装（1）
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装
w风雨无阻w
151 0
ModelScope运营小助手
|
10月前
|
数据可视化 物联网 PyTorch
Stable Diffusion模型魔搭最佳实践：训一只你的萌柯基
Stable Diffusion模型魔搭最佳实践：训一只你的萌柯基
ModelScope运营小助手
619 0
w风雨无阻w
|
7月前
|
机器学习/深度学习 人工智能 安全
AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解（1）
AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解
w风雨无阻w
512 0
阿里云大数据Al技术
|
1天前
|
人工智能 运维 API
基于PAI-EAS一键部署Stable Diffusion AIGC绘画
教程中，您将学习如何使用阿里云模型在线服务（PAI-EAS）的预置镜像，快速部署AIGC Stable Diffusion SDWebUI绘画的AI-Web应用，以及启动WebUI进行模型推理。
阿里云大数据Al技术
62293 2
w风雨无阻w
|
7月前
|
人工智能 开发工具 git
AI 绘画Stable Diffusion 研究（六）sd提示词插件（1）
AI 绘画Stable Diffusion 研究（六）sd提示词插件
w风雨无阻w
382 0

ModelScope模型即服务

热门文章

最新文章

  • 1
    阿里云通义千问向全社会开放！
  • 2
    Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估
  • 3
    千亿大模型来了！通义千问110B模型开源，魔搭社区推理、微调最佳实践
  • 4
    Qwen1.5开源！魔搭最佳实践来啦！
  • 5
    vanna+qwen实现私有模型的SQL转换
  • 6
    ChatGPT中文版杀疯了,已登录AI模型市场
  • 7
    LLM 大模型学习必知必会系列(一)：大模型基础知识篇
  • 8
    ModelScope--人像卡通化、人像美肤
  • 9
    Qwen1.5-MoE开源，魔搭社区推理训练最佳实践教程来啦
  • 10
    Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）
  • 1
    我的感受
    17
  • 2
    【LangChain系列】第一篇：文档加载简介及实践
    13
  • 3
    智能体-Agent能力升级！新增Assistant API & Tools API服务接口
    53
  • 4
    联合XTuner，魔搭社区全面支持数据集的长文本训练
    30
  • 5
    【AIGC】通过人工智能总结PDF文档摘要服务的构建
    61
  • 6
    零一万物Yi-1.5系列模型发布并开源！34B/9B/6B 多尺寸魔搭社区推理微调最佳实践教程来啦！
    18
  • 7
    【AIGC】LangChain Agent（代理）技术分析与实践
    112
  • 8
    NPU推理&微调大模型实战
    88
  • 9
    RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
    99
  • 10
    LISA微调技术解析：比LoRA更低的显存更快的速度
    57

    • 相关课程

    更多
  • 基于ASK轻松部署企业级Stable Diffusion
  • AI开发者的Docker实践
  • 趣味视觉AI应用入门与实战
  • ModelScope社区Library技术架构介绍

    • 相关电子书

    更多
  • 魔搭FaceChain
  • # Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】
  • 阿里云机器学习PAI-DSW入门指南

    • 相关实验场景

    更多
  • 如何快速体验通义大模型
  • 如何快速体验调用通义大模型
  • 5分钟操作EAS一键部署通义千问模型
  • 使用函数计算部署通义千问大模型实现AI对话
  • 使用PAI-DSW x EasyPhoto快速完成AIGC人物写真生成
  • 基于通义千问X函数计算部署AI助手
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考
    http://www.vxiaotou.com