PhD
字节Seed 团队推出 PHD-Transformer,成功扩展预训练长度,解决 KV 缓存问题!
近日,字节跳动的 Seed 团队在人工智能领域再传佳音,推出了一种新型的 PHD-Transformer(Parallel Hidden Decoding Transformer),这项创新突破了预训练长度的限制,有效解决了推理过程中的 KV 缓存膨胀问题。 随着大型推理模型的迅速发展,研究人员在后训练阶段尝试通过强化学习方法来生成更长的推理链,并在复杂的推理任务上取得了显著成果。 受到启发,字节 Seed 团队决定探索在预训练阶段进行长度扩展的可能性。
4/28/2025 5:00:40 PM
AI在线
Seed校招博士自述:我为什么选择来字节做大模型
原文来自知乎博主张逸霄对“大家能分享一下当前博士就业的情况吗”的回答。 人在英国,刚过答辩。 今年拿了腾讯 AI Lab(青云计划)、字节跳动(Seed) ,国外有之前实习的 Sony Research 和 Yamaha 的 return offer,国外也有正在面试的 Adobe 和 Meta。
11/8/2024 10:55:00 AM
机器之心
新加坡国立大学金玥明组全奖博士生、博士后、科研助理招募
新一年博士招生正式启动!本期我们将为大家介绍新加坡国立大学金玥明课题组招募博士生 / 博士后 / 科研助理的相关信息。
8/11/2022 8:28:00 AM
机器之心
- 1
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
模型
机器人
谷歌
大模型
Midjourney
智能
用户
开源
学习
GPT
微软
Meta
图像
AI创作
技术
论文
Stable Diffusion
Gemini
马斯克
算法
蛋白质
芯片
代码
生成式
英伟达
腾讯
神经网络
研究
计算
Anthropic
3D
Sora
AI for Science
AI设计
机器学习
开发者
GPU
AI视频
华为
场景
人形机器人
预测
百度
苹果
伟达
Transformer
深度学习
xAI
Claude
模态
字节跳动
大语言模型
搜索
驾驶
具身智能
神器推荐
文本
Copilot
LLaMA
算力
安全
视觉
视频生成
训练
干货合集
应用
大型语言模型
亚马逊
科技
智能体
DeepMind
特斯拉