推广 热搜:     行业  设备  企业  上海  公司  系统  中国  机械 

Stable Diffusion基础:ControlNet之细节替换

   日期:2024-10-18     移动:http://shsunc.cs-ej.cn/quote/10599.html

本文继续给大家分享 Stable Diffusion 的基础能力:ControlNet之细节替换,故事的主角是 Tile。

Tile 的原意是瓦片、瓷砖。作为 ControlNet,它会对参考图进行分块,并识别出区块内的对象。如果提示词和区块内的对象匹配,它会在不改变对象定义的情况下,生成新的细节,替换之前的细节;如果提示词和区块内的对象不匹配,它会以对象为准,降低提示词的影响。

工欲善其事必先利其器,ControlNet还是先要安装好的,已经安装好的请跳过这一步。
之前的文章已经介绍过相关安装方法,大家请点击这个链接移步过去:ControlNet 安装与基本使用方法

这个控制网络可以用于文生图、图生图,这里以“文生图”为例。
首先选择生图大模型,填写提示词。这里选择一个真实模型:realisticVisionV51 ,提示词要和参考图相匹配。

img

Stable Diffusion的参数一般使用默认的就可以。注意高度、宽度使用参考图的尺寸,否则可能被裁减或者变形。

img

重点看下 ControlNet 的设置,上传一张要提升细节的图片,图片内容和上面的提示词是匹配的。
勾选“启用”和“完美匹配像素”。

img

Control Type 选择 Tile,预处理器和模型会自动加载。

img

注意 Tile 的预处理器有三个
(1)tile_resample 对于内容丰富的图片生图效果较好,但是和原图的颜色偏差较大。
resample 有一个名为 Down Sampling Rate 的参数,这个参数的作用是按照比例缩小参考图,降低参考图的分辨率,然后生成图片的时候就可以产生更多的细节。

img

(2)tile_colorfix 保持和原图的颜色一致,但背景会比较模糊。
colorfix 有一个名为 Variation 的参数, 控制每个瓦片之间的色彩变化,值越大瓦片的色彩变化越大。

img

img

(3)tile_colorfix+sharp 保持和原图的颜色一致,同时增加锐化,让线条更清晰。
colorfix+sharp 有两个参数
Variation 控制瓦片之间的色彩变化。
Sharpness 控制锐化程度,也就是线条的清晰程度。如果感觉生成的图片比较模糊,可以加大这个值。

img

控制权重:降低控制权重,可以降低 ControlNet 的约束,让 Stable Diffusion 模型发挥更大的作用。
启动、结束控制步数也可以控制细节的渲染效果,可以用不同的值试试,这里就不啰嗦了。

img

权重为 1 时,因为原图比较简单,出现了明显的瓦片颜色不协调问题。权重为 0.3 时模型发挥了更大的作用,色彩搭配好了很多。

img

控制模式对 Tile 的影响很大,以提示词为主时,生成图片会明显偏向 Stable Diffusion 模型。

img

img

用途示例

修复老照片

利用 Tile 的细节生成能力, 替换图片中模糊的细节。注意这种细节不是还原,而是生成了新的细节。
慈禧太后的老照片

img

上个世纪的一位老人

img

改善细节

原图片的天空、草地和森林都很模糊。通过 Tile 可以让细节更清晰。
如果一次生成得到的图片还是不够清晰,可以迭代多次试试,下边的图片就是生成了3次得到的。

img

完善草图

可以给线稿图、涂鸦图增加一些细节,让画面看起来完成度更高。

img

img

风格转换

Tile + 不同的模型,就会有风格转换的效果,通过增大提示词引导系数、设置控制模式为以提示词为主,可以让图片更靠近模型的风格。
真实转二次元

img

机车赛博朋克

img

通过以上这些例子,可以看到:图片的结构及相关元素主体都没有改变,变化的只有细节,也就是实现了细节的替换。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助

对于0基础小白入门

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等,可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

本文地址:http://midet.cs-ej.cn/quote/10599.html    成事e家 http://midet.cs-ej.cn/ , 查看更多

特别提示:本信息由相关企业自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


相关行业动态
推荐行业动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号