teacher

讨论下一个token预测时，我们可能正在走进陷阱

自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。然而，越来越多的人认为，以下一个 token 的预测为目标只能得到一个优秀的「即兴表演艺术家」，并不能真正模拟人类思维。人类会在执行计划之前在头脑中进行细致的想象、策划和回溯。遗憾的是，这种策略并没有明确地构建在当今语言模型的框架中。对此，部分学者如 LeCun，在其论文中已有所评判。在一篇论文中，来自苏黎世联邦理工学院的 Gregor Bachmann

3/25/2024 2:42:00 PM

机器之心

资讯热榜

Cursor宣布免费向学生开放一年Pro会员，助力AI编程教育大BUG！非学生用户竟能白嫖谷歌顶级AI全家桶白嫖攻略速看保姆级教程：零代码基础也能微调Qwen3，并本地部署英伟达全新开源自动语音识别模型 Parakeet-TDT-0.6B-V2，语音转录能力再提升尤雨溪：让 AI 更好的理解 Vue、Vite 应对网络威胁利器！Cisco与Meta推出Foundation-sec-8B LLM Excel MCP Server上线可通过Claude等客户端直接操作Excel文件 Figma重磅升级：发布五大新功能，Figma Sites支持一键发布网站

标签云

人工智能 OpenAI AI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源学习微软 GPT Meta 图像 AI创作技术 Gemini 论文马斯克 Stable Diffusion 算法芯片蛋白质代码生成式英伟达腾讯神经网络研究 Anthropic 计算 3D Sora AI设计开发者机器学习 AI for Science GPU AI视频场景苹果华为人形机器人百度预测伟达 Transformer 深度学习 Claude 搜索 xAI 大语言模型字节跳动模态驾驶具身智能神器推荐文本训练 LLaMA Copilot 视觉算力应用安全视频生成干货合集智能体大型语言模型亚马逊科技 AGI API