AI在线 AI在线

PhD

字节Seed 团队推出 PHD-Transformer,成功扩展预训练长度,解决 KV 缓存问题!

近日,字节跳动的 Seed 团队在人工智能领域再传佳音,推出了一种新型的 PHD-Transformer(Parallel Hidden Decoding Transformer),这项创新突破了预训练长度的限制,有效解决了推理过程中的 KV 缓存膨胀问题。 随着大型推理模型的迅速发展,研究人员在后训练阶段尝试通过强化学习方法来生成更长的推理链,并在复杂的推理任务上取得了显著成果。 受到启发,字节 Seed 团队决定探索在预训练阶段进行长度扩展的可能性。
4/28/2025 5:00:40 PM
AI在线

Seed校招博士自述:我为什么选择来字节做大模型

原文来自知乎博主张逸霄对“大家能分享一下当前博士就业的情况吗”的回答。 人在英国,刚过答辩。 今年拿了腾讯 AI Lab(青云计划)、字节跳动(Seed) ,国外有之前实习的 Sony Research 和 Yamaha 的 return offer,国外也有正在面试的 Adobe 和 Meta。
11/8/2024 10:55:00 AM
机器之心

新加坡国立大学金玥明组全奖博士生、博士后、科研助理招募

新一年博士招生正式启动!本期我们将为大家介绍新加坡国立大学金玥明课题组招募博士生 / 博士后 / 科研助理的相关信息。
8/11/2022 8:28:00 AM
机器之心

论机器学习领域的内卷:不读PhD,我配不配找工作?

机器学习内卷了吗?
3/31/2021 4:40:00 PM
机器之心
  • 1