AI在线 AI在线

专家

无需邀请码！扣子空间宣布开放测试

无需邀请码！扣子空间宣布开放测试
扣子空间（Coze Space）宣布正式开放测试，无需邀请码，用户登录官网(space.coze.cn)即可直接使用这一创新的AI协作平台。 自测试启动以来，内测用户已经创建了许多优质的案例，展示了扣子空间在不同领域的应用潜力。 扣子空间不仅提供了一个通用的AI助手，还上线了三个专家Agent，以满足不同行业用户的需求。
5/9/2025 4:00:51 PM
AI在线
元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型

元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型
元象发布XVERSE-MoE-A4.2B大模型 ， 采用业界最前沿的混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，让海量中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。GPT3、Llama与XVERSE等主流大模型发展遵循规模理论（Scaling Law）， 在模型训练和推理的过程中，单次前向、反向计算时，所有参数都被激活，这被称为稠密激活 （densely activated）。 当 模型规模增大时，
4/2/2024 10:24:00 AM
新闻助手
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）

手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 门控和带噪声的 top-k 门控，以及采用 Kaiming He 初始化技术。作者还说明了从 makemore 架构保持不变的元素，比如数据集处理、分词预处理和语言建模任务。最后还提供了一个 GitHub 仓库链接，用于实现模型的整个过程，是一本不可多得的实战教科书。内容简介在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专
2/16/2024 4:32:00 PM
机器之心
  • 1