图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

在 AIGC 范畴,人类应该持续提升创造力,不要停止,不要因为有了 AI 就不去创造了,而 AI 也将通过提升整个产业效率的方式来帮助人类更好地创造价值。

2023年1月6日,由稀土掘金手艺社区与 Intel 联合发起的第一届「掘金未来大会」在北京成功举行。

大会上,澜舟科技合伙人、首席产品官李京梅介绍了澜舟科技的孟子轻量化预训练模型,及其已经在 GitHub、 Hugging Face 以及 ModelScope 等多个社区开源,提供近 20 个模型,涉及阅读了解、文本生成、多模态、金融等等各个方面,企业均可以下载使用。

此外,李京梅通过营销案牍写作、文学辅助写作、鉴于情节配图三大场景进一步展现鉴于预训练模型的 AIGC 手艺的实践运用。她表示,人类应持续提升创造力,AI 将通过提升产业效率的方式来帮助人类更好地创造价值

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

以下为澜舟科技合伙人、首席产品官李京梅演讲全文:

预训练模型标志着 NLP 进入了工业化实施阶段

澜舟科技正式成立于 2021 年 6 月,是一家初创企业,鉴于预训练模型做 NLP 的手艺创新,驱动在各个垂直范畴落地。今天也将重点聚焦泛互联网范畴,尤其是现在较火的 AIGC,看看大模型在具体范畴中可以做哪些事情。

手艺发展之上是一个简单的时间轴。80 年代,是一个鉴于符号、统计等等相关模型的时代,到了 2010 年,开始进入深度学习时代。在 NLP 自然语言处理的范畴中,一个最大的手艺突破是 2017 年谷歌出现了 Transformer 手艺,一切就开始变得不一样了。再到 2019 年,阅读了解 AI 第一次超越人类,以及后来出现的一些大模型,包括目前广泛运用的 OpenAI GPT-3,以及预期 2023 年 GPT-4 什么时候会出现等等。

从最早的运算智能,如大数据、云计算等等都属于刚需了,以及感知智能,像视觉、语音都已经非常成熟。但现在为什么又谈认知智能?认知智能,是你看到了,听到了,有没有懂?有没有了解?是不是能够思考?能够做决策?……如今,谈到 AIGC ,就是 AI 创作实质,你能不能看到了,听懂了,也了解了,更能创造实质了。因此,现在是从感知智能演变到认知智能,甚至是创造智能的阶段

此次提到的大模型是一个预训练模型。什么是预训练?就是对互联网公开的、海量的数据去做无监督的训练,从而让模型对特定任务的学习变得轻松。而不是传统的靠人去做标注。好处在于,模型的水平已经提得很高,落地时就会鉴于某一个垂直范畴的数据,或者某一客户的数据,只需做微调,落地就非常敏捷了,这时候客户要提供的数据比传统机器学习从 0 开始做一个模式要更快。也就是说,预训练模型标志着 NLP 进入了工业化实施阶段,可以核算成本,也可以作为生意,客户也能看到价值

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

澜舟科技有一个手艺品牌叫孟子,专注于中国的客户、市场以及中文,在基础模型上,自研了一个孟子轻量化预训练模型。简单来讲,做了三件事:

一是模型优化。在模型的架构上做了性能优化、任务构造等等;二是学问增强。虽然是个预训练,但在不同的范畴需要具备一定的范畴的学问,因此鉴于学问图谱、语言学等方面做学问增强;三是数据增强。虽然这是一个通用预训练,但还是会有一些任务,比如阅读了解、分类、长短文本了解等等,还是会在一定的大范围内做相关的数据增强。

因此,孟子轻量化预训练模型不仅是一个模型,还是一系列的若干模型。2022年,孟子轻量化手艺迈上新台阶:登顶 ZeroCLUE 和 FewCLUE 榜单,这使得孟子预训练模型是轻量化的,真正落地的体积要求的数据量都会小,经济且快速地适配。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

除此之外,孟子轻量化多任务模型已经在 GitHub、 Hugging Face 以及 ModelScope 等多个社区开源,提供近 20 个模型,涉及阅读了解、生成、多模态、金融等等各个方面,企业均可以下载使用。

面向三大场景的 AIGC 运用

虽然澜舟科技有大模型、NLP 等相关手艺,但却十分注重在垂直范畴或是场景化的前提下进行落地。此次分享则聚焦营销案牍写作、文学辅助写作、鉴于情节配图这 3 个场景展开 AIGC 运用:

1、文学辅助写作场景。澜舟与中文在线、17K 小说等网文平台合作过程中听到许多实际的需求,为此,澜舟也提供了 4 类服务:

续写。用户开头写前文,机器往下续写,这是一种很常见的交互式写作;鉴于关键字生成。比如用户语文不太好,但想出了许多辞藻,一定要放到作文中,却串不成句子,那么鉴于关键词就可以让 AI 帮助润色,语法也十分通顺;实体渲染。这是网文创作中刚需的需求,这里的实体指的是一个人物、物体等等,比如,现代男性、古代美女、或者一种法器,鉴于关键词描写实体;自定义模板。鉴于用户自定义模板做完型填空、填词造句。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

实际上,澜舟所提供的能力已经在中文在线和 17K 小说平台落地实现,赋能平台作者写作能力。比如,澜舟的能力开放在 17K 小说的作者写作界面中,是一个非常跨界的运用,都是鉴于孟子预训练模型中的文本生成的能力,以及利用网文的相关语料的落地,同时,交付也非常轻,就是一个接口,然后集成到 17K 的作者平台上。

澜舟还做了一个 To C 的小程序,叫熊猫小说家,实际上就是小说接龙。用户作为一个发起者先要创建小说,构思情节给到一个小说梗概,然后再给出一些关键词,就可以随机生成文字。如果用户属于社牛型,还可以把小说公开到广场,谁想来一起往下写都可以。可以说,澜舟在文学辅助写作上的 AIGC 的能力放到了小程序中,有兴趣的都可以试一试。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

2、营销案牍写作场景。营销案牍其实是澜舟做得较早的一个落地运用,目前聚集美妆汽车范畴。用户可以从两个范畴中进行选择,系统中有写实质、生成题目、改写等等方面,但都需要用户给到一定的关键字。到这里,大家会发现对于模型、手艺而言,写什么都比较类似,关键在于在不同范畴中,澜舟有不同的数据,所以关键词不一样,也就很快能适配到不同的运用的范畴,但背后的手艺是相通的,不用重新做一个完全不同的手艺体系。比如,汽车范畴中,可能涉及到一些专业的学问图谱,有品牌、有款型等等,当然,这只是一个体验,依然有不足指出,但如果有定制合作的需求,效果肯定比线上的试用 demo 更好。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

一年前,澜舟与数说小说开展合作,数说小说做前台,澜舟做背后的引擎,打造了一款自动化写作产品,名为 http://content-note.com 智能案牍,分成 “选择模板-输入关键词-生成结果” 三个步骤走。此外,还有澜舟论文助写(LPA),主要是鉴于用户提供的关键词生成完整的句子,以及根据前文生成下一个句子供作者参考,现在澜舟还将其拓展到人工智能的英文论文写作,参加 NLP 、 ACL 等范畴顶会的研究人员使用,与 ChatGPT 相比,写出的实质更具论文范。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

以上两个场景都是文本生成类运用,可以看到澜舟科技作为一个平台,它的底层是大模型以及算法、手艺和数据等等,在具体范畴中落地时,会有不同垂直范畴的数据,这时候就出现了分支,还有一些针对文本生成相关的句子,最后都会归纳成澜舟文本生成平台。

同时,整个文本生成引擎功能有 6个特点:

多属性可控文本生成,通过关键字、主题、完型填空、实体渲染等控制属性达成 AI 可控性的目的;多样化的文本生成形式,鉴于已有文本的续写,以及鉴于关键词、标题、表格数据的文本扩写,使用更加灵活;鉴于学问图谱的文本生成,用户可以自定义学问图谱,提高生成实质的事实正确性;实质和风格定制化,鉴于用户数据构建专属文本生成引擎;文本自动评测系统,可以评测文本正确性、逻辑连贯性等等;多行业范畴支持,比如营销、金融、新闻、医疗、教育等众多行业。

3、鉴于情节配图。虽然澜舟科技主打不是做图,但文、图有很多相通性,尤其是在模型底层向量化之后,无论是文字、语音还是图片,可比性和相似度变得非常的容易。澜舟科技在 文-图生成模型 Stable Diffusion 基础上进一步做垂直范畴的落地,这里面分了几个模型,有图像编码、解码以及中间去噪的一个模型。如下图所示,左边是一个飞马,右边一个飞着的斑马,中间加的字就是飞在天上的斑马,最后飞马身长多出来“黑色条纹”变成了斑马,因此,文字进来也会进行编码,进去到去噪的模型中,大概就是这么一个原理。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

那么,澜舟科技具体在 Stable Diffusion 基础上做了什么?首先是文到图生成,比如,给小说中的一段话配图;其次是以图生图,比如,一位小朋友想要画这样一幅画:一只蜗牛,背上背着一栋房子,天上有彩虹。但小朋友画不好,那么,鉴于小朋友的画可能有不同画风的 AI 生图;最后是以文控图,比如,先生成一张“一个穿裙子的小女孩”的图片,在此基础上,还可以是在唱歌、在跳舞、在拉小提琴等等,通过文字再次控制原图片生成。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

以上都是 Stable Diffusion 已经开源的模型以及常见的一些场景,其中还有在产品化、工具化以及标准化方面需要澜舟科技发力的地方,而且已经有许多场景接近于可以对公众发布。

那么,澜舟 AI 文图生成手艺主要有几个特点:

中文优化更可控智能提示生成,众所周知,Stable Diffusion 鉴于 prompt (提示),而普通用户只会讲自然语言,如何把它翻译成更好的模型,可以了解的 prompt ,以及可能会适当添加用户并没有输入的实质,这些都是澜舟需要做工作之一;概念构建一致性,这里的概念可能是一个小说里的人物、法器或者其他的物件等等,让它们在一个小说小说中保持一致性,也是一个挺大的挑战;个性化定制训练,AI 不能随机定制,比如小说小说中的人物,AI 定制的人物形象从始至终必须保持一直;推理加速提升体验,包括降低成本,毕竟商业化付费时对业务是有价值的。

目前,澜舟科技也有一些初步的研究成果,比如可控的文图生成的风格控制,举个例子,生成一种国画风,也是用到 Stable Diffusion,但中间也会做一些训练进行反哺,就是有一个 Discriminator 判别器,中间有人员参与挑选生成的图片,然后告知模型生成的图片中有哪些是符合国画风的,哪些是不符合的,即把正确的结果再反哺给 Stable Diffusion ,如此训练出来的模型再去推理时,效果就会接近想要的风格。再比如,一张女孩子的图片,还可以指定风格生成二次元、国画、赛博朋克等不同风格的需求。

图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践图文实录|澜舟科技合伙人李京梅:鉴于预训练模型的 AIGC 手艺与运用实践

再拿形象控制来说,比如小说小说中的人物必须长成描述的样子,给定目标形象,但训练时也怕会出现拟合,需要把一些泛化的形象塞到模型中。为此,澜舟采用的是 DreamBooth 的方法,即拿一个字符去代表某一种男孩的形象进行训练,当进行推理时,只要告诉模型要推理这个字符形象的男孩,就能得到想要的效果。比如,一个男生走进便利店,他会出现在询问店员、拿商品以及结账等场景中,当然现在还会有一些瑕疵需要后续不断完善。

最后,澜舟科技未来能做的事情还有很多,也十分看重运用场景的切实落地,过程中还有许多问题亟待解决:一是长文本生成的可控性,AI 写几百字的文本还可以,但如果是上千字,可控性就没有那么强;二是篇章和上下文一致性,比如熊猫小说中的小说接龙,涉及上千篇章或节,以及将前面的摘要融合到上一篇或者上一节实质,都是需要去探索的地方;三是常识与事实合理性,这方面可能就要引入学问图谱,比如让机器晓知天文地理,对时间地点、人物关系等合理性描述;四是,个性化敏捷定制,比如,用户有一个固定的人物形象或是一个插画,究竟如何去做个性化定制都需要后续探索。

总而言之,在 AIGC 范畴,人类应该持续提升创造力,不要停止,不要因为有了 AI 就不去创造了,而 AI 也将通过提升整个产业效率的方式来帮助人类更好地创造价值。

给TA打赏
共{{data.count}}人
人已打赏
AI

「十亿像素」引领视觉智能技能变革,2022 GigaVision挑衅赛圆满落幕

2023-2-28 14:21:00

AI

山东大学团队提出基于异构图 Transformer 的单细胞生物搜集推理

2023-3-2 17:30:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索