大羊驼LLaMa竞品来了:AI画图最火公司开源谈话模型,最小30亿参数

直接开源,随便试用。出 Stable Diffusion 的公司也出谈话大模型了,效果还挺好。本周三,StableLM 的颁布引来了科技圈的关注。Stability AI 是近期势头正盛的创业公司,因

直接开源,随便试用。

出 Stable Diffusion 的公司也出谈话大模型了,效果还挺好。本周三,StableLM 的颁布引来了科技圈的关注。

Stability AI 是近期势头正盛的创业公司,因为开源的 AI 画图对象 Stable Diffusion 而饱受好评。在周三的颁布中,该公司宣布其谈话大模型现已可供开发人员在 GitHub 上利用和改编。

与业内标杆 ChatGPT 一样,StableLM 旨在高效地生成文本和代码。它在名为 Pile 的开源数据集的更大版本上进行训练,其中包含来自各种来源的信息,包含维基百科、Stack Exchange 和 PubMed,共 22 个数据集,容量达到 825GB,1.5 万亿个 token。

Stability AI 表示,StableLM 模型目前可用版本的参数在 30 亿到 70 亿之间,未来将有 15 亿到 650 亿范围的多种参数模型可用。

图片

项目链接:https://github.com/stability-AI/stableLM/

图片

根据目前人们的测试,如果跑 7B 模型(8 bit),需要用到 12GB 的显存。

Stability AI 也放出了一些 StableLM 的问答示例:

图片

图片

图片

StableLM 鉴于 Stability AI 此前与非营利组织 EleutherAI 合作开发的开源谈话模型,包含 GPT-J、GPT-NeoX 和 Pythia,新模型面向尽可能大的用户群。此前在 Stable Diffusion 上,Stability AI 通过多种方式提供其文本到图像 AI 的技术,包含公开演示、软件测试版和模型的完备下载,也允许开发人员利用其对象并进行各种集成。

相比 OpenAI 的封闭,Stability AI 一直把自身定位为 AI 研究社区的一员,我们大概率会在 StableLM 上看到和上月颁布的 Meta 开源 LLaMa 谈话模型同样的情况。大量鉴于原版模型的算法可能会出现,在较小模型体量之上实现很好的效果。

图片StableLM 的微调版谈天界面。

此外,现在每个人都可以实验在 Hugging Face 上托管的 StableLM 微调谈天模型上和 AI 进行对话:https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

和所有谈话大模型一样,StableLM 模型仍然存在「幻觉」问题,如果你实验问它如何制作花生酱三明治,StableLM 会给出一个非常复杂且荒谬的食谱。它还建议人们在慰问卡上添加一张「有趣的图画」。

Stability AI 警告说,虽然它利用的数据集应该有助于「将基础谈话模型引导到『更安全』的文本分布中,但并不是所有的偏见和毒性都可以通过微调来减轻。

现在 StableLM 模型已在 GitHub 存储库中上线。Stability AI 表示将在不久的将来颁布一份完备的技术报告,此外还将启动众包 RLHF 计划,并与 Open Assistant 等社区合作,为 AI 谈天助手创建一个开源数据集。

参考内容:

https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

https://www.theverge.com/2023/4/19/23689883/stability-ai-open-source-large-language-model-stablelm

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/32245

(0)
上一篇 2023年4月21日 上午11:02
下一篇 2023年4月21日 上午11:08

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注