ControlNet
Flux 生态再爆发！新增 4 大模型，支持局部重绘/扩图/风格变体
大家好，我是花生~. 上周 Flux 模型研发方 Black Forest Labs 突然又发布了 4 款新的模型，而且都非常实用，支持对图像进行外绘扩展、局部重绘和生成风格变体，此外还有 depth 和 canny 的控制功能。 其实开源社区已经自发训练了基于 Flux.1 的 Controlnet 模型，所以这次看到官方亲自下场做模型还是挺惊讶的，我都在想是不是官方觉得目前的模型不够好，所以决定自己动手来做。
11/26/2024 1:05:45 AM
夏花生
ControlNet作者新作：AI打光玩得更溜了！细节保留能力远高于SD1.5
ControlNet作者“敏神”（张吕敏），刚刚上新了一个新项目——名叫IC-Light V2，可以说是把AI打光这事儿玩得溜溜的。 图片IC-Light是此前张吕敏开发的图像处理工具，可以通过AI技术精确控制图像中的光照效果。 而此次的V2版本则是一系列基于FLUX的IC-Light型号，具有16通道VAE和原生高分辨率。
11/5/2024 1:21:37 PM
无敌了！Midjourney 外部图像编辑功能上线，支持 Controlnet 深度控制
大家好我是花生~. 预热许久的 Midjourney 外部图片编辑功能终于上线了！ 做为目前最强大的 AI 绘画工具之一，Midjourney 在图像质量、风格质感、功能便捷性等方面的表现都是顶尖的，但它一直无法准确控制生图内容、也不能上传本地图像进行二次编辑，想必是很多人的痛点。
10/25/2024 8:22:08 AM
夏花生
阿里妈妈开源全新 AI 图像修复模型 FLUX-Controlnet-Inpainting
阿里妈妈创意团队宣布开源 FLUX-Controlnet-Inpainting AI 图像修复模型。该模型宣称结合了 FLUX.1-dev 和 ControlNet 的优势，能高质量修复图像。模型可以理解用户语言描述，并修复图像且支持改变风格，官方示例如下：FLUX-Controlnet-Inpainting 与 SDXL-Inpainting 相比，生成内容效果对比如下（输入图像 | 蒙版图像 | SDXL 修复 | 最终效果）：FLUX-Controlnet-Inpainting 目前处于 Alpha 测试阶段
9/30/2024 11:16:35 AM
汪淼
Flux.1 生态最新梳理！新增 4 款新模型，支持 Controlnet 和 Lora （附模型/工作流文件）
大家好我是花生~
绘画模型 Flux.1 自推出后，以其超强的图像生成能力迅速受到广泛关注，一跃成为新一代的 AI 文生图模型标杆。 虽然 Flux.1 dev / schnell 模型开源还不到 1 个月，但围绕其进行的生态建设却发展迅猛：目前已经出现了至少 4 种不同的模型版本和几百款 checkpoint 、lora 模型，配套的 controlnet 模型也已经上线，各种基于 flux 的文生图、图生图、高清放大、局部重绘、面部修复工作流也投入了使用，让人惊叹于开源社区强大的生命力。生态能发展完善肯定是好事
8/20/2024 1:28:25 AM
夏花生
蜘蛛侠妖娆起舞，下一代 ControlNet 来了！贾佳亚团队推出，即插即用，还能控制视频生成
只用不到 10% 的训练参数，就能实现 ControlNet 一样的可控生成！而且 SDXL、SD1.5 等 Stable Diffusion 家族的常见模型都能适配，还是即插即用。同时还能搭配 SVD 控制视频生成，动作细节控制得精准到手指。在这些图像和视频的背后，就是港中文贾佳亚团队推出的开源图像 / 视频生成引导工具 ——ControlNeXt。从这个名字当中就能看出，研发团队给它的定位，就是下一代的 ControlNet。像大神何恺明与谢赛宁的经典大作 ResNeXt（ResNet 的一种扩展），起名字也是
8/17/2024 12:42:55 PM
清源
万能模型 ControlNet Union ！10+控制效果一键生成！
大家好，这里是和你们一起探索 AI 的花生~
Controlnet 可以说是目前最重要的一款 AI 绘画控制插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都需要调用不同的控制模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。
最近一款名为 ControlNet 的模型却改变了这个状况，它将十多种控制功能合为一体，只需要安装一个模型，就能和多种不同的预处理器搭配使用，今天就来看看它的具体用法。
相关推荐：一、Con
7/15/2024 12:56:49 AM
夏花生
秒杀 Canny ! 一文详解2款 ControlNet 新模型 Anyline ＆ Mistoline
大家好，这里是和你们一起探索 AI 的花生~
最新 ControlNet 有两款新模型非常热门，一个是用于提取图像线稿的预处理模型 Anyline，一个是 SDXL 线条类控制模型 Mistoline。它们不仅单独的功能强于目前的 canny、lineart、softedge 等模型，组合在一起更是可以快速准确地处理超复杂的图像，今天就为大家详细介绍一下它们的特点和用法。
相关推荐：一、Anyline
Anyline 是一款新的线条类预处理模型，可以从大部分图像中快速提取高精度的线稿图。与其他常用的线条预处理器相比
5/24/2024 12:52:42 AM
夏花生
Stable Diffusion ComfyUI 进阶教程（二）：Controlnet 面部与姿态预处理器
这节课我们继续去学习 Controlnet 预处理器中的面部与姿态预处理器，这也是我们在使用 Controlnet 时最常用的一种控制方式之一，使用姿态能让我们生成的图像与输入的面部与姿态数据保持一致性。一、DW 姿态预处理器①介绍：从图像中提取手部、身体、面部姿态信息并生成骨架图；
②检测手部、身体、面部：这不用说了吧，关掉就不会生成此部位骨架图，开启就会生成此部位骨架图；
③BBox 检测：边界框检测器，用于检测图像中的对象并标识其位置（比如用来框选空姐在图中的位置）；
④姿态预估：姿态预估模型，通过此模型提取
3/19/2024 12:44:32 AM
搞设计的花生仁
Stable Diffusion ComfyUI 进阶教程（一）：Controlnet 线条预处理器
前言：我们在前面的基础教程中已经知道怎么去连接 Controlnet 了，接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么效果和作用；
我们先从最常用的“线条预处理器”开始，这也是我们最常用的预处理器之一，我们做动漫转真人、真人转动漫、线稿上色等效果时必用的一个预处理器；
我们会在“Controlnet 预处理器-线条”线条里面发现 14 个不同的预处理器，插件作者一直在更新，也许过段时间大家会看到更多的预处理器。一、线稿
1. Canny 细致线预处理器：①
3/7/2024 7:06:07 AM
搞设计的花生仁
深度解析！ControlNet模型的工作原理与应用场景（附案例解析）
一、川言川语
大家好，我是言川。本期文章是 2024 年的第一篇文章，也是 2023 年农历的最后一篇文章。截至这篇文章完成时，距离春节也只有最后一周的时间了，我无法单独向支持我的朋友们传达祝福之意。所以在本篇文章的开头，向大家说一些祝福之词：
2024 年，祝大家在新的一年里事业有成，大展宏图，前程似锦。同时在事业之外，祝大家健康、快乐以及幸福。
2024 年，辰龙年，祝大家龙飞凤舞，事业腾飞；祝大家金龙献瑞，好运连连；祝大家龙年吉祥，幸福安康。
最后，新年快乐，准备准备回家吃饺子咯~二、生成式 AI 回顾
开始
1/30/2024 12:11:46 AM
言川Artie
Controlnet 最新动态！6款超好用的新模型解析（附下载）
大家好我是花生~
之前为大家系统介绍过 Stable Diffusion WebUI 中 Controlnet 插件的安装使用方法，也系统梳理过各个模型的用法。现在 Controlnet 又有了一些新的模型和功能，今天正好为大家梳理一下。相关模型文件都在文末的云盘链接内，有需要的小伙伴记得下载~
Controlnet 相关推荐：一、Animal_openpose
Animal_openpose 是一个专门提取狗、鹿、马、豹等四足动物姿势骨架的模型，也可以用来引导人马等奇幻形象的生成。使用时需要：
① 下载 rtmp
1/26/2024 7:35:36 AM
夏花生
如何用Stable Diffusion 把黑白老照片变成彩色高清图？教程来了！
在这个时代，我们习惯于拥有高清、色彩丰富的照片，然而，那些古老的黑白色老照片由于年代的久远，往往会出现模糊、破损等现象。
那么今天要给大家介绍的是，用 Stable Diffusion 来修复老照片。
前段时间 ControlNet 的除了上线了“IP-Adapter”模型以外还增加另一个叫“Recolor”的模型，它的作用就是给图片重新上色。通过“Recolor”，我们能够让那些古老的黑白色老照片重现生机，展现出它们原本应有的色彩和细节。
更多SD教程：一、插件以及模型下载
本文需要用到的插件、脚本以及模型如下：
10/30/2023 12:01:12 AM
智影AI
大厂出品！如何用 ControlNet 实现精准的画面色彩控制？
颜色控制一直是 AIGC 的难点，prompt 会污染、img2img 太随机… 今天带来利用controlnet，实现对画面颜色的有效控制。都说AIGC是抽卡，但对把它作为工具而非玩具的设计师，必须掌握如何控制它，让我们一起开始可控AI生成。
更多相关干货：一、想给 AI 点颜色瞧瞧，怎么这么难
大家或许已经通过各种《三分钟包会》《五分钟出道》的教程，可以手拿把掐的将一张商品图，完美植入需要的背景中。客观的说，无论从角度、投影、还是商品与背景的语义关系，以下都能算是合格的图片。但是作为视力 255³的设计师，总能
10/21/2023 6:41:51 AM
团队京东JellyDesign
万字干货！一口气掌握14种 ControlNet 官方控图模型的使用方法！
在上一篇里我已经为大家介绍了关于 ControlNet 的基本功能、安装和使用技巧，相信大家对这款神级插件已经有了基本认识，今天我会为大家更详细的介绍 14 种官方控图模型的差异和使用技巧，以及最近刚面向 SDXL 更新的社区模型。一、官方模型和社区模型
前文我们提到 ControlNet 模型是由张吕敏开源的，目前开源的模型包括以下这 14 种，作为 ControlNet 的布道者，我们可以将这些称之为经典的官方模型。
官方模型下载地址： ，但最近新的 SDXL 大模型发布后还没有做适配，之前的 ControlN
9/27/2023 1:07:00 AM
乐伊ROY
超详细的 Stable Diffusion 学习指南：ControlNet 基础教程
今天的文章我将为你娓娓道来关于 ControlNet 的起源介绍、安装方法和使用技巧。
下篇：更多相关干货：
9/21/2023 8:51:57 AM
乐伊ROY
ControlNet 重大更新！直接复制图像风格，可配合 SDXL 大模型使用
大家好，这里是和你们一起探索 AI 绘画的花生~
知名 Stable Diffusion 插件 ControlNet 在 9 月初迎来了一次比较大的更新，新增了 Recolor 和 IP-Adapter 2 个新模型，更重要的是支持 xl 系列的控制模型，可以配合 SDXL 大模型使用，今天就一起来看看如何在 Stable Diffusion WebUI 中使用这些新模型~
往期回顾：一、Controlnet 插件更新
ControlNet v1.1.4 更新介绍： （重要，必看）
因为要兼容 SDXL 的生态，
9/20/2023 8:09:05 AM
夏花生
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
模型
机器人
谷歌
大模型
Midjourney
智能
用户
开源
学习
GPT
微软
Meta
图像
AI创作
技术
论文
Stable Diffusion
Gemini
马斯克
算法
蛋白质
芯片
代码
生成式
英伟达
腾讯
神经网络
研究
计算
Anthropic
3D
Sora
AI for Science
AI设计
机器学习
开发者
GPU
AI视频
华为
场景
人形机器人
预测
百度
苹果
伟达
Transformer
深度学习
xAI
Claude
模态
字节跳动
大语言模型
搜索
驾驶
具身智能
神器推荐
文本
Copilot
LLaMA
算力
安全
视觉
视频生成
训练
干货合集
应用
大型语言模型
亚马逊
科技
智能体
DeepMind
特斯拉