AI画连环画角色更一致了!人物之间的复杂互动也能处理|中山大学&联想团队出品

声明:本文来自于微信公众号 量子位(ID:QbitAI),授权转载发布。

AI画连环画角色更一致了!人物之间的复杂互动也能处理|中山大学&联想团队出品

让AI画漫画角色保持一致的新研究来了!

创作的连环画效果belike:

频繁切换主体、人物之间复杂的互动也能保持角色一致性:

上述效果来自AutoStudio,是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。

AutoStudio采用基于大语言模型的三个智能体来处理交互,并使用基于扩散模的Drawer生成高质量图像。

实验中,AutoStudio无论是在定量还是定性评估中都优于现有方法。

AutoStudio长啥样?

由于最先进的T2I生成模型在生成令人印象深刻的单个图像方面表现出了卓越的能力,研究界对更复杂的多轮交互式图像生成工作的兴趣与日俱增。

在现实世界的应用中,用户经常需要以交互方式生成一系列图像,其中包括各种任务,如开放式故事生成和多主体多轮编辑。

然而,目前的方法大多数要求预先定义所有轮的生成指令,并且在面对不同的用户指令(如定制、编辑和大量交叉引用)时,很难在多个主体之间保持一致性。

为了解决这些问题,研究团队引入了AutoStudio,这是一个多智能体、无需训练的框架,具有四个特别定制的智能体,利用现成的模型与用户进行即时交互。

他们的目标是引入一个多功能、可扩展的框架,通过多智能体协作,可以将任何所需的LLM架构和扩散骨干结合到框架中,以满足用户多轮生成的多样化需求。

具体而言,AutoStudio包括三个基于LLM的智能体:

  • 主题管理器解释对话,识别不同的主题,并为其分配适当的上下文;

  • 布局生成器为每个主题生成部分级别的边界框,以控制主题的位置;

  • 监督员为布局生成器提供布局改进和修正的建议。

最后,绘制器基于扩散模型完成基于改进布局的图像生成。

此外,研究人员在绘制器中引入了一个并行UNet(P-UNet),它具有一种新颖的架构,利用两个并行的交叉注意力模块分别增强文本和图像嵌入的潜在主题特征。

为了进一步解决SD在理解长提示和生成过程中缺失和错误融合主题的限制,研究人员在绘制器中引入了一种主题初始化的生成方法。

接下来是对AutoStudio架构的详细说明。

多智能体协同

研究团队首先引入一个主题管理器Manager,它不仅能为主题及其组件分配ID,还能将用户提示转换为绘图说明。

然后,布局生成器Layout Generator对这些标题进行处理,生成粗略的布局,其中包含每个主题及其组件的边界框和信息。

为了纠正不合理的主体内和主体间空间关系并完善粗略布局,引入了一个监督器Supervisor。

该监督器将粗布局作为输入,并向布局生成器提供建议。

通过这种方式,Supervisor和Layout Generator密切协作,形成一个布局细化的闭环流

此外,研究团队还定义了一组任务介绍,以指导这三个基于 LLM 的代理生成格式正确的响应。

最后,给定细化布局和从主体库中获取的主体信息,绘图器Drawer可以生成与布局对齐且包含一致主体的图像。

主体初始化生成过程

为了解决多ID绑定任务中主体丢失和融合的问题,研究人员引入主体初始化生成过程

这个过程包括对主体粗粒度特征的单独生成,使用提取器提取特征并通过正向扩散映射到潜空间并在全局生成的初始几步进行局部替换。

P-UNet

Stable Diffusion模型中的原始UNet利用交叉注意模块来利用文本特征,但这不足以表示多个主体的空间关系和特征。

因此,研究人员提出了利用免训练布局调整注意力模块的P-UNet。

将UNet层的原始交叉注意模块拆分为两个并行的文本和图像交叉注意模块(分别称为PTCA和PICA)来细化Z,这两个模块具有相同的架构,其主要思想是计算Z与每个主体文本/图像嵌入之间的特征相似性。

AutoStudio效果如何?

研究人员在CMIGBench上利用所选的基准模型对AutoStudio进行了全面评估。

CMIGBench基于故事生成和多轮编辑,包含8000个多轮脚本对话(每个任务4000个)。

研究人员选择了平均弗雷谢特起始距离(aFID)和平均字符-字符相似度(aCCS)这两个定量指标来评估上下文一致性,并选择了平均文本-图像相似度(aTIS)来评估主体间的语义一致性。

结果,AutoStudio在所有指标上都明显优于之前的方法

下图展示了多轮交互式图像生成的可视化结果,表明AutoStudio能够理解用户的自然语言指令,并生成主题一致的图像。

相比而言,Theatergen无法处理人物之间复杂的互动(如拥抱和接吻),而MiniGemini则难以保持主体的一致性。

Intelligent Grimm和StoryDiffusion无法在多回合互动中保持多个角色之间的一致性,并表现出有限的编辑效果。

论文链接:https://arxiv.org/abs/2406.01388

项目主页:https://howe183.github.io/AutoStudio.io/

标签:

最新文章

  1. 截胡骁龙8 Gen4!骁龙8 Gen3 GPU插帧提前上线:真我GT6尝鲜2024-07-24
  2. 男子新疆旅游时意外发现石油 网友直呼发财了:官方回应沥青高温熔化所致2024-07-24
  3. QQ浏览器电脑版v12.7上线手机模式 可实现手机和电脑同屏操作2024-07-24
  4. 雷军否认开SU7漂移视频找替身:100%是我漂的 练得教练快吐了2024-07-24
  5. 华为荣耀小米早已商用:曝iPhone 17系列顶配版支持可变光圈2024-07-24
  6. 身份不一般!考700分迈巴赫少爷被北大录取:从不炫富、钱要花在刀刃上2024-07-24
  7. Llama 3.1有哪些功能免费吗?Meta AI最强大新模型怎么使用方法详细教程指南2024-07-24
  8. Llama 3.1功能介绍及免费使用指南 Meta AI最新一代模型体验地址入口2024-07-24
  9. 卖教辅资料,每年100万收入2024-07-24
  10. 抖音官宣:人设型IP要被终结?2024-07-24
  11. 开源=最强大模型!Llama3.1发布,405B超越闭源GPT-4o,扎克伯格:分水岭时刻2024-07-24
  12. Llama 3.1-405B完全指南:Meta最新大语言模型 - 使用方法教程与免费试用入口2024-07-24
  13. 第一批用AIGC赚到钱的人,已经开卷海外了2024-07-24
  14. 中国凉席火到法国:不夹腿毛冰丝凉席销量迅速增长2024-07-24
  15. 大厂亲儿子下线、创业公司盈利,社交啊社交2024-07-24
  16. 马斯克:生孩子意味着你关心未来、相信未来2024-07-24
  17. Llama-3.1-70B有哪些功能?Meta AI最新模型怎么使用方法详细教程指南2024-07-24
  18. 张一鸣和黄峥,又盯上了同一个市场2024-07-24
  19. 一场直播入万元,谁在为拆盲盒的情绪价值买单2024-07-24
  20. 一条视频卖出10w,东西越“丑”越抢手?2024-07-24
  21. Llama-3.1-8B功能介绍及免费使用指南 Meta AI最新模型体验地址入口2024-07-24
  22. AI应用的流量“炼金术”2024-07-24
  23. 小米SU7全新OTA升级推送:城市NOA可识别公交车道限行时间2024-07-24
  24. 欧盟威胁对 Meta 罚款,质疑 “付费同意” 模式是否真免费2024-07-24
  25. 华为畅连App发布2.1.42.664众测升级:支持北斗卫星消息自由输入2024-07-24
  26. 安兔兔车机芯片新晋跑分王诞生:来自联发科2024-07-24
  27. 新娘本人回应扔手捧花砸婚闹朋友:经常打打闹闹 已和好2024-07-24
  28. 手机届革命性产品!曝苹果将在2026年推出首款折叠屏iPhone2024-07-24
  29. 苹果首款可折叠 iPhone 或将于 2026 年推出2024-07-24
  30. 雷军:苹果也是代工 凭啥说小米是组装厂?2024-07-24
高金铭
高金铭 微信号:高金铭 扫描二维码关注公众号
优质自媒体

小编推荐

  1. 1 王维的诗全集(王维的诗全集小学)

    大家好,小豪今天来为大家解答王维的诗全集以下问题,王维的诗全集小学很多人还不知道,现在让我们一起来看看吧!1、《山居秋暝》空山新雨后

  2. 2 男主往女主里面倒酒(男主往女主里面倒酒)

    大家好,小美今天来为大家解答男主往女主里面倒酒以下问题,男主往女主里面倒酒很多人还不知道,现在让我们一起来看看吧!1、GOSICK,具体哪一集

  3. 3 【廉洁小故事】王荷波:品重柱石

    长袍、布鞋,戴着眼镜,个子高高,胡子又黑又长……这是农运前驱郑乃之印象中的王荷波同志,衣着简单,但目光炯炯。王荷波,是直面腥风血雨

  4. 4 陈奕迅中国好声音跑调(陈奕迅中国好声音跑调视频在线观看)

    大家好,小乐今天来为大家解答陈奕迅中国好声音跑调以下问题,陈奕迅中国好声音跑调视频在线观看很多人还不知道,现在让我们一起来看看吧!

  5. 5 睿智是什么意思网络用语(睿智是什么骂人的意思)

    大家好,小丽今天来为大家解答睿智是什么意思网络用语以下问题,睿智是什么骂人的意思很多人还不知道,现在让我们一起来看看吧!1、睿智在网

  6. 6 社区携手青少年,共筑无毒暑期——暑期小课堂禁毒第一课

    健康生活远离毒品跟着暑期的到来,新苑三四居委结合田林街道禁毒办组织开展以“健康生活,远离毒品”为主题的暑期小教室禁毒教育运动,旨在

  7. 7 奇迪(奇遇原始人)

    大家好,小豪今天来为大家解答奇迪以下问题,奇遇原始人很多人还不知道,现在让我们一起来看看吧!1、菲利普·奇迪的职业生涯开始于2005/06赛季

  8. 8 吃妈巨(吃妈巨为什么长得这么吓人)

    大家好,小美今天来为大家解答吃妈巨以下问题,吃妈巨为什么长得这么吓人很多人还不知道,现在让我们一起来看看吧!1、“吃妈巨”是个悲情角

  9. 9 “悟思想伟力·看实践创新”系列微视频之八 | 以科技创新引领高质量发展

    点击上方蓝色,存眷我们加速实现高水平科技自立自强,是鞭策高质量成长的必由之路。近日,中央经济工作会议指出,2024年要环绕鞭策高质量成长

  10. 10 年字的起源和演变过程图(年字的起源和演变小报)

    大家好,小豪今天来为大家解答年字的起源和演变过程图以下问题,年字的起源和演变小报很多人还不知道,现在让我们一起来看看吧!1、甲骨文的

Copyright 2024 优质自媒体,让大家了解更多图文资讯!