高效预训练长度缩放技术

字节跳动发布高效预训练长度缩放技术，突破长序列训练瓶颈

字节跳动宣布推出高效预训练长度缩放技术（Efficient Pretraining Length Scaling），通过创新的Parallel Hidden Decoding Transformer(PHD-Transformer)框架，显著提升大语言模型(LLM)在长序列预训练中的效率与性能。据AIbase了解，该技术在保持推理效率的同时，支持高达2048K(2M)的上下文长度训练，解决了传统框架在数据异构性与计算平衡上的瓶颈。相关研究已在arXiv公开，引发了AI研究社区的广泛关注。

4/23/2025 3:00:42 PM

AI在线

资讯热榜

Lovart震撼发布：全球首个设计Agent，一键从创意到成品全球首个设计Agent Lovart席卷全球，颠覆性功能与幕后团队揭秘全球首款设计Agent Lovart内测！一句话搞定Logo、视频、品牌全套一文搞懂人工智能中的MCP原理：从概念到应用的全面解析苹果发布FastVLM模型，可在iPhone上运行的极速视觉语言模型 OpenMemory MCP发布！AI记忆本地共享，Claude、Cursor一键同步效率翻倍！国产大模型「五强争霸」，决战AGI！清华系创业团队“灵御智能”融资千万，聚焦人机混合智能

标签云

人工智能 AI OpenAI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源微软学习 GPT Meta 图像 AI创作技术 Gemini 论文马斯克 Stable Diffusion 算法芯片代码生成式蛋白质英伟达腾讯神经网络研究 Anthropic 开发者 3D 计算 Sora 机器学习 AI设计 AI for Science GPU AI视频苹果场景华为百度人形机器人预测搜索 Claude 伟达训练深度学习生成 xAI Transformer 大语言模型字节跳动模态具身智能文本驾驶智能体神器推荐 Copilot LLaMA 视觉算力安全应用视频生成干货合集 API 大型语言模型亚马逊科技