中国电信发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T

作者：沛霖（实习） 2024-06-19 01:41

中国电信人工智能研究院（TeleAI）和智源研究院联合发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T，该模型与百亿级的 52B 版本，千亿级的 102B 版本共同构成 Tele-FLM 系列模型。TeleAI 和智源研究院基于模型生长和损失预测等技术，Tele-FLM 系列模型仅使用了业界普通训练方案 9% 的算力资源，基于 112 台 A800 服务器，用 4 个月完成 3 个模型总计 2.3T tokens 的训练。模型训练全程做到了零调整零重试，算力能效高且模型收敛性和稳定性好，Tele-FLM

中国电信人工智能研究院（TeleAI）和智源研究院联合发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T，该模型与百亿级的 52B 版本，千亿级的 102B 版本共同构成 Tele-FLM 系列模型。

TeleAI 和智源研究院基于模型生长和损失预测等技术，Tele-FLM 系列模型仅使用了业界普通训练方案 9% 的算力资源，基于 112 台 A800 服务器，用 4 个月完成 3 个模型总计 2.3T tokens 的训练。模型训练全程做到了零调整零重试，算力能效高且模型收敛性和稳定性好，Tele-FLM-1T 版本即将开源。

目前，TeleFLM 系列模型已经全面开源了 52B 版本，核心技术 (生长技术、最优超参预测)、训练细节 (loss 曲线、最优超参、数据配比和 Grad Norm 等) 均开源，开源模型下载量过万，积累超 40 万用户。

此外，中国电信在某市民生诉求场景项目上，通过引入 TeleChat-52B 模型能力，整体应用效果提升 40%，达到行业领先水平。

IT之家附 Tele-FLM-52B 版本开源地址：https://huggingface.co/CofeAI/Tele-FLM

Tele-FLM-Chat 试用 (纯模型单轮对话版) 地址：https://modelscope.cn/studios/FLM/ChatFLM

27亿参数的「野生版」GPT-3开源，GitHub项目2.9K Star量

OpenAI 著名的语言模型 GPT-3 可以懂数学、翻译文字，还能写论文拿到及格成绩，这样的 AI 什么时候才能开源呢？现在已有了一个差不多的项目。

3/26/2021 3:50:00 PM

机器之心

首个中文版ChatGPT来了：大模型的中国元“Yuan”

ChatGPT 到底有多火？它已成为史上最快传播的应用，发布两个月后就有了 1 亿用户。实现同样的用户量，TikTok 需要近九个月，而 Instagram 用了两年多。

2/7/2023 9:19:00 AM

机器之心

还在为玩不了ChatGPT苦恼？这十几个开源平替也能体验智能对话

本文将为大家盘点一下 ChatGPT 的开源平替项目。

3/19/2023 1:30:00 PM

机器之心

谷歌内部文件泄漏：谷歌、OpenAI都没有护城河，大模型门槛正被开源踏破

「我们没有护城河，OpenAI 也没有。」在最近泄露的一份文件中，一位谷歌内部的研究人员表达了这样的观点。

5/5/2023 2:47:00 PM

机器之心

大模型迎来「开源季」，盘点过去一个月那些开源的LLM和数据集

前段时间，谷歌泄露的内部文件表达了这样一个观点，虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶，但真正的赢家未必会从这两家中产生，因为有一个第三方力量正在悄然崛起。这个力量就是「开源」。

5/16/2023 2:53:00 PM

机器之心

百川智能发布开源中英文大模型，多个榜单评测成绩最佳

王小川创立的百川智能发布中英文大模型，采用开源模式，可免费商用。报道 | 机器之能2023年6月15日，被称为「中国ChatGPT梦之队」的百川智能公司，推出了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B不仅在C-Eval、AGIEval和Gaokao中文权威评测榜单上，以显著优势全面超过了ChatGLM-6B等其他大模型，并且在MMLU英文权威评测榜单上，大幅领先LLaMA-7B。目前baichuan-7B大模型已在Hugging Face、Github以及Model Sc

6/15/2023 6:13:00 PM

机器之能

超越所有开源模型，击败 Claude、Bard，专门用于编程任务的大模型来了

开源 LLM 的性能越来越好了。

6/20/2023 2:34:00 PM

机器之心

第一个超越ChatGPT的开源模型来了？网友并不买账

开源模型真的超过 ChatGPT了吗？

7/3/2023 2:41:00 PM

机器之心

彻底开源，免费商用，上海AI实验室把大模型门槛打下来

大模型领域，有人探索前沿技术，有人在加速落地，也有人正在推动整个社区进步。

7/12/2023 6:44:00 PM

机器之心

iPhone、Mac上都能跑，刷屏的Llama 2究竟性能如何？

昨天凌晨，相信很多人都被 Meta 发布的 Llama 2 刷了屏。OpenAI 研究科学家 Andrej Karpathy 在推特上表示，「对于人工智能和 LLM 来说，这确实是重要的一天。这是目前能够把权重提供给所有人使用的最为强大的 LLM。」

7/20/2023 2:23:00 PM

机器之心

Llama 2 的入门与实战，机器之心邀请了 4 位技术大牛手把手教你

机器之能报道编辑：Sia「Llama 2 大模型算法与应用实践」-机器之心 AI 技术论坛将于 8 月 26 日在北京举办。如果要问「2023 年最火的动物是什么?」AI 圈外的人可能会回答「熊猫」，并给你列出一长串熊猫的名字。而 AI 圈内的人八成会回答「羊驼」。而且，他们也能给你列出一长串「羊驼」的名字：llama、vicuna、alpaca…… 得益于 Meta Llama 模型的开源，AI 社区的研究者对生物学羊驼属的英文单词已经如数家珍，每个单词都对应着一个（或一组）基于 Llama 的微调模型。这些模

7/30/2023 11:42:00 PM

机器之能

讯飞星火V3.5正式发布，基于全国产算力平台“飞星一号”训练

1月30日，科大讯飞举行星火认知大模型V3.5升级发布会。科大讯飞董事长刘庆峰、研究院院长刘聪正式发布基于首个全国产算力训练的讯飞星火V3.5。2023年10月24日，科大讯飞携手华为，宣布首个支撑万亿参数大模型训练的万卡国产算力平台“飞星一号”正式启用。启用后的90多天里，讯飞星火基于“飞星一号”，启动了对标GPT-4的更大参数规模的大模型训练，带来了1月30日这场讯飞星火V3.5升级发布。首个基于全国产算力训练的全民开放大模型讯飞星火V3.5在语言理解、文本生成、知识问答、逻辑推理、数学能力、代码能力和多模态能

1/30/2024 8:38:00 PM

机器之心

开源大模型王座再易主，1320亿参数DBRX上线，基础、微调模型都有

「太狂野了」。这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。本周三，大数据人工智能公司 Databricks 开源了通用大模型 DBRX，这是一款拥有 1320 亿参数的混合专家模型（MoE）。DBRX 的基础（DBRX Base）和微调（DBRX Instruct）版本已经在 GitHub 和 Hugging Face 上发布，可用于研究和商业用途。人们可以自行在公共、自定义或其他专有数据上运行和调整它们，也可以通过 API 的形式使用。基础版：：

3/28/2024 3:15:00 PM

机器之心

快速入门大模型技术与应用，推荐你从Stable Diffusion开始学起

自 2023 年 AI 技术爆发以来，以 ChatGPT、Stable Diffusion 为代表的大模型已然成为了大众的焦点，其中 Stable Diffusion 作为知名的视觉开源模型，凭借直观易用与令人印象深刻的图像生成能力，赢得了创作者的广泛青睐。随着人工智能技术的不断进步和创新，Stable Diffusion 已经在艺术创作、设计领域乃至科学研究中展现出了独特的魅力和巨大的潜力。它不仅能够在短时间内生成高分辨率、细节丰富的图像，还能够通过简单的文本描述实现复杂视觉内容的创造，这使得 Stable Di

5/29/2024 3:10:00 PM

机器之心

周鸿祎自称“开源信徒”：宣布将开源 360 智脑 7B 模型，支持 50 万字长文本输入

感谢360 创始人周鸿祎近日透露即将开源 360 智脑 7B（70 亿参数模型），支持 360k（50 万字）长文本输入。周鸿祎表示，前段时间大模型行业卷文本长度，100 万字“很快将是标配”。“我们打算将这个能力开源，大家没必要重复造轮子，定为 360k 主要是为了讨个口彩。”他还自称“开源的信徒”，信奉开源的力量。据介绍，360 智脑长文本能力已入驻大模型产品“360AI 浏览器”。周鸿祎还谈到了小模型的优势：其认为小模型速度快、用户体验也好，单机单卡就能跑，具备更高的性价比。目前，360AI 浏览器已向用户免

3/29/2024 3:27:56 PM

清源

Databricks 推出 1320 亿参数大语言模型 DBRX，号称“现阶段最强开源 AI”

Databricks 近日在推出了一款通用大语言模型 DBRX，号称是“目前最强开源 AI”，据称在各种基准测试中都超越了“市面上所有的开源模型”。IT之家从官方新闻稿中得知，DBRX 是一个基于 Transformer 的大语言模型，采用 MoE（Mixture of Experts）架构，具备 1320 亿个参数，并在 12T Token 的源数据上进行预训练。研究人员对这款模型进行测试，相较于市场上已有的 LLaMA2-70B、Mixtral、Grok-1 等开源模型，DBRX 在语言理解（MMLU）、程式设

3/31/2024 3:15:05 PM

漾仔

阿里通义千问开源 320 亿参数模型，已实现 7 款大语言模型全开源

感谢4 月 7 日，阿里云通义千问开源 320 亿参数模型 Qwen1.5-32B。IT之家注意到，通义千问此前已开源 5 亿、18 亿、40 亿、70 亿、140 亿和 720 亿参数 6 款大语言模型。此次开源的 320 亿参数模型，将在性能、效率和内存占用之间实现更理想的平衡。例如，相比通义千问 14B 开源模型，32B 在智能体场景下能力更强；相比通义千问 72B 开源模型，32B 的推理成本更低。通义千问团队希望 32B 开源模型能为企业和开发者提供更高性价比的模型选择。目前，通义千问共开源了 7 款大语

4/8/2024 11:50:26 AM

远洋

360 智脑 7B 参数大模型开源，支持 50 万字长文本输入

感谢360 公司日前在 GitHub 上开源了 360 智脑 7B（70 亿参数模型）。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练，以中文、英文、代码为主，开放 4K、32K、360K 三种不同文本长度。360 表示，360K（约 50 万字）是当前国产开源模型文本长度最长的。360 表示，他们在 OpenCompass 的主流评测数据集上验证了模型性能，包括 C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、L

4/12/2024 6:30:18 PM

沛霖（实习）

中国电信发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T

相关资讯

27亿参数的「野生版」GPT-3开源，GitHub项目2.9K Star量

首个中文版ChatGPT来了：大模型的中国元“Yuan”

还在为玩不了ChatGPT苦恼？这十几个开源平替也能体验智能对话

谷歌内部文件泄漏：谷歌、OpenAI都没有护城河，大模型门槛正被开源踏破

大模型迎来「开源季」，盘点过去一个月那些开源的LLM和数据集

百川智能发布开源中英文大模型，多个榜单评测成绩最佳

超越所有开源模型，击败 Claude、Bard，专门用于编程任务的大模型来了

第一个超越ChatGPT的开源模型来了？网友并不买账

彻底开源，免费商用，上海AI实验室把大模型门槛打下来

iPhone、Mac上都能跑，刷屏的Llama 2究竟性能如何？

Llama 2 的入门与实战，机器之心邀请了 4 位技术大牛手把手教你

讯飞星火V3.5正式发布，基于全国产算力平台“飞星一号”训练

开源大模型王座再易主，1320亿参数DBRX上线，基础、微调模型都有

快速入门大模型技术与应用，推荐你从Stable Diffusion开始学起

周鸿祎自称“开源信徒”：宣布将开源 360 智脑 7B 模型，支持 50 万字长文本输入

Databricks 推出 1320 亿参数大语言模型 DBRX，号称“现阶段最强开源 AI”

阿里通义千问开源 320 亿参数模型，已实现 7 款大语言模型全开源

360 智脑 7B 参数大模型开源，支持 50 万字长文本输入