AI在线 AI在线

文本大模型

小红书hi lab首次开源文本大模型,14个checkpoint覆盖Pretrain与Instruct阶段

01、简介小红书hi lab(Humane Intelligence Lab,人文智能实验室)团队首次开源文本大模型 dots.llm1。 dots.llm1是一个中等规模的Mixture of Experts (MoE)文本大模型,在较小激活量下取得了不错的效果。 该模型充分融合了团队在数据处理和模型训练效率方面的技术积累,并借鉴了社区关于 MoE 的最新开源成果。
6/10/2025 3:30:00 AM
  • 1