QuaDMix
字节跳动推出 QuaDMix:大型语言模型预训练数据质量与多样性的统一框架
近日,字节跳动宣布推出其全新的数据选择框架 QuaDMix,旨在提升大型语言模型(LLM)预训练的效率和泛化能力。 众所周知,模型的训练效果受基础数据集的质量和多样性影响很大。 然而,传统的数据筛选方法往往将质量和多样性视为两个独立的目标,先进行质量过滤,再进行领域平衡。
4/28/2025 10:01:33 AM
AI在线
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
谷歌
DeepSeek
AI绘画
大模型
机器人
数据
AI新词
Midjourney
开源
Meta
微软
智能
用户
GPT
学习
智能体
技术
Gemini
马斯克
英伟达
Anthropic
图像
AI创作
训练
LLM
论文
代码
苹果
算法
AI for Science
腾讯
Agent
Claude
芯片
Stable Diffusion
具身智能
蛋白质
xAI
开发者
人形机器人
生成式
神经网络
机器学习
3D
AI视频
RAG
大语言模型
Sora
研究
百度
GPU
生成
字节跳动
工具
华为
AGI
计算
大型语言模型
AI设计
搜索
生成式AI
视频生成
亚马逊
DeepMind
AI模型
特斯拉
场景
深度学习
Transformer
架构
Copilot
MCP
编程
视觉