AI在线 AI在线

南开提出1Prompt1Story,无需训练,可通过单个连接提示实现一致的文本到图像生成

(1Prompt1Story)是一种无训练的文本到图像生成方法,通过整合多个提示为一个长句子,并结合奇异值重加权(SVR)和身份保持交叉注意力(IPCA)技术,解决了生成图像中身份不一致的问题,同时保持了文本描述的精准对齐。 相关链接论文:::,通过单个连接提示实现一致的文本到图像生成。 我们的方法可以应用于所有基于文本嵌入的文本到图像模型。

(1Prompt1Story)是一种无训练的文本到图像生成方法,通过整合多个提示为一个长句子,并结合奇异值重加权(SVR)和身份保持交叉注意力(IPCA)技术,解决了生成图像中身份不一致的问题,同时保持了文本描述的精准对齐。

图片

相关链接

  • 论文:https://arxiv.org/abs/2501.13554
  • 代码:https://github.com/byliutao/1Prompt1Story
  • 主页:https://byliutao.github.io/1Prompt1Story.github.io/

论文介绍

论文出了一种无需训练的方法1Prompt1Story,通过单个连接提示实现一致的文本到图像生成。我们的方法可以应用于所有基于文本嵌入的文本到图像模型。此外,它还支持多字符生成、ControlNet 引导生成和个性化生成逼真的图像。

图片

方法

图片

(a):1Prompt1Story 的整体流程。将身份提示和框架提示合并为一个提示,然后应用奇异值重加权 (SVR) 和身份保留交叉注意力 (IPCA) 来生成身份一致的图像。(b):在SVR期间,首先增强表达集X_exp的语义信息(红色箭头),然后迭代地削弱抑制集X_sup的语义(蓝色箭头)。(c):在IPCA中将 K_tilde 与 K_bar 连接,将 V_tilde 与 V_bar 连接,以提高身份一致性。

图片

(左):1Prompt1Story 可以与 ControlNet 集成,以实现空间控制,从而实现一致的角色生成。(右):此外,提出的方法还可以与其他方法(例如 PhotoMaker)结合使用,以实现真实图像个性化,同时提高身份一致性。

结果展示

图片

现有方法(上)在 T2I 生成一致性方面面临挑战。SDXL 和 Juggernaut-X-v10 等 T2I 模型在生成的图像之间经常表现出明显的身份不一致。尽管包括 IP-Adapter 和 ConsiStory 在内的最新方法已经提高了身份一致性,但它们失去了生成的图像与相应输入提示之间的一致性。提出的方法的其他结果(下)展示了卓越的一致性,同时不损害文本和图像之间的一致性。

图片

对帧提示顺序的鲁棒性。使用同一组帧提示但不同的顺序,提出的方法 1Prompt1Story 可以一致地生成具有统一标识的图像。

图片

多主题故事生成。通过在身份提示中定义多个主题,提出的方法生成具有多个角色的图像,每个图像都保持良好的身份一致性。

图片

与不同的基础模型相结合。

相关资讯

港科大提出端侧文生图模型SnapGen,参数仅SD十分之一,1.4秒内生成1024分辨率图像

本文经AIGC Studio公众号授权转载,转载请联系出处。 这项工作提出了一种新颖且高效的 T2I 模型SnapGen,SnapGen 是第一个可以在1.4秒内在移动设备上合成高分辨率图像(1024x1024 ) 的图像生成模型(379M ) ,并在 GenEval 指标上 达到0.66。 该模型全面超越了许多现有的数十亿参数模型,例如 SDXL、Lumina-Next 和 Playgroundv2。
1/21/2025 9:50:00 AM
AIGC Studio

六大维度,LLM「问题生成」首次正面PK人类!伯克利等发布最新研究

长期以来,问题生成(Question Generation)任务都是根据「给定事实」来编写各种相关问题,已经发展出了很多自动化的方法。 大型语言模型(LLM)的兴起,极大提升了各种自然语言处理(NLP)任务的性能,其中也包括问题生成,虽然应用广泛,但还没有研究讨论过「用LLMs生成问题的特点」。 没有额外提示约束时,LLMs是更倾向于生成较长还是较短的问题?
1/24/2025 3:30:00 PM
新智元

美国新法案:禁止进口中国DeepSeek,违规罚1亿美元、监禁

在国内大模型DeepSeek席卷全球致使美国科技股暴跌后,美国参议员Josh Hawley提出《美国AI能力与中国脱钩》法案,以保护美国的AI开发不受中国影响。 Hawley在序言中写道:“流入中国AI的每一美元和每一字节数据,最终都会被用来对付美国。 美国不能在牺牲自身实力的情况下,增强我们最大的对手。
2/5/2025 10:24:04 AM
AIGC开放社区
  • 1