AI在线 AI在线

QuaDMix

​字节跳动推出 QuaDMix:大型语言模型预训练数据质量与多样性的统一框架

近日,字节跳动宣布推出其全新的数据选择框架 QuaDMix,旨在提升大型语言模型(LLM)预训练的效率和泛化能力。 众所周知,模型的训练效果受基础数据集的质量和多样性影响很大。 然而,传统的数据筛选方法往往将质量和多样性视为两个独立的目标,先进行质量过滤,再进行领域平衡。
4/28/2025 10:01:33 AM
AI在线
  • 1