AI在线 AI在线

Qwen1.5

阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens
感谢通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。IT之家附上 Qwen 2.0 主要内容如下：5 个尺寸的预训练和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B在中文英语的基础上，训练数据中增加了 27 种语言相关的高质量数据；多个评测基准上的领先表现；代码和数学能力显著提升；增大了上下文长
6/7/2024 7:42:41 AM
故渊
阿里巴巴通义千问开源 1100 亿参数 Qwen1.5-110B 模型，与 Meta Llama3-70B 相媲美

阿里巴巴通义千问开源 1100 亿参数 Qwen1.5-110B 模型，与 Meta Llama3-70B 相媲美
感谢阿里巴巴日前宣布，开源 Qwen1.5 系列首个千亿参数模型 Qwen1.5-110B，该模型在基础能力评估中与 Meta-Llama3-70B 相媲美，在 Chat 评估中表现出色，包括 MT-Bench 和 AlpacaEval 2.0。IT之家汇总主要内容：据介绍，Qwen1.5-110B 与其他 Qwen1.5 模型相似，采用了相同的 Transformer 解码器架构。它包含了分组查询注意力（GQA），在模型推理时更加高效。该模型支持 32K tokens 的上下文长度，同时它仍然是多语言的，支持英、
4/27/2024 8:38:56 PM
浩渺
  • 1