forcing
讨论下一个token预测时,我们可能正在走进陷阱
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后,这一概念逐渐成为现代语言模型的核心部分。最近,围绕下一个 token 预测的讨论日趋激烈。然而,越来越多的人认为,以下一个 token 的预测为目标只能得到一个优秀的「即兴表演艺术家」,并不能真正模拟人类思维。人类会在执行计划之前在头脑中进行细致的想象、策划和回溯。遗憾的是,这种策略并没有明确地构建在当今语言模型的框架中。对此,部分学者如 LeCun,在其论文中已有所评判。在一篇论文中,来自苏黎世联邦理工学院的 Gregor Bachmann
3/25/2024 2:42:00 PM
机器之心
- 1
资讯热榜
标签云
人工智能
AI
OpenAI
AIGC
ChatGPT
DeepSeek
AI绘画
模型
数据
机器人
谷歌
大模型
Midjourney
智能
用户
开源
微软
学习
GPT
Meta
图像
AI创作
技术
Gemini
论文
马斯克
Stable Diffusion
算法
芯片
代码
生成式
蛋白质
英伟达
腾讯
神经网络
研究
Anthropic
开发者
3D
计算
Sora
机器学习
AI设计
AI for Science
GPU
AI视频
苹果
场景
华为
百度
人形机器人
预测
搜索
Claude
伟达
训练
深度学习
生成
xAI
Transformer
大语言模型
字节跳动
模态
具身智能
文本
驾驶
神器推荐
智能体
Copilot
LLaMA
视觉
算力
安全
应用
视频生成
干货合集
API
大型语言模型
亚马逊
科技