Token

大模型中的嵌入向量

前面文章和小伙伴们聊了 Tokenizer，经过 Tokenizer 之后，自然语言变为 Token，那么大模型就可以直接训练 Token 了嘛？还不行！接下来还有一个词嵌入的环境，英文就是 Embedding，Embedding 实际上就是将 Token 转为张量，在有的场景下，Embedding 也指张量本身。

7/30/2025 4:15:00 AM

江南一点雨

突破单token预测局限！南洋理工首次将多token预测引入微调

告别Next-token，现在模型微调阶段就能直接多token预测！从GPT到Claude，当前主流LLM都依赖next-token prediction（下一token预测）进行训练，但它却让AI很难真正理解跨越多token的完整概念。于是南洋理工大学最近提出了一项新技术——概念感知微调（CAFT），首次实现将multi-token prediction（多token预测）引入微调阶段，让模型能够像人类一样理解和学习完整概念。

7/24/2025 6:34:27 PM

鹭羽

刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权

互联网上最大规模的预训练来了！ Nous Research宣布正式推出Psyche网络（Psyche Network），通过去中心化方式革新人工智能（AI）训练。 Psyche网络利用区块链技术，汇聚全球计算资源，成功启动了40B参数大语言模型Consilience的预训练任务，总计20万亿token，创下了迄今为止互联网上最大规模的预训练纪录。

5/26/2025 9:39:15 AM

新智元

苹果放大招！FastVLM 让视觉语言模型在 iPhone 上飞速 “狂飙”

苹果最近又搞了个大新闻，偷偷摸摸地发布了一个叫 FastVLM 的模型。听名字可能有点懵，但简单来说，这玩意儿就是让你的 iPhone 瞬间拥有了“火眼金睛”，不仅能看懂图片里的各种复杂信息，还能像个段子手一样跟你“贫嘴”!而且最厉害的是，它速度快到飞起，苹果官方宣称，首次给你“贫嘴”的速度比之前的一些模型快了足足85倍!这简直是要逆天啊!视觉语言模型的 “成长烦恼”现在的视觉语言模型，就像个不断进化的小天才，能同时理解图像和文本信息。它的应用可广了，从帮咱们理解图片里的内容，到辅助创作图文并茂的作品，都不在话下。

5/12/2025 3:00:52 PM

AI在线

字节跳动携手港大与华中科技大学推出UniTok，革新视觉分词技术

近日，字节跳动联合香港大学和华中科技大学共同推出了全新的视觉分词器 UniTok。这款工具不仅能在视觉生成和理解任务中发挥作用，还在技术上进行了重要创新，解决了传统分词器在细节捕捉与语义理解之间的矛盾。 UniTok 采用了多码本量化技术，能够将图像特征分割成多个小块，并用独立的子码本进行量化。

5/7/2025 6:00:54 PM

AI在线

250多篇论文，上海AI Lab综述推理大模型高效思考

最近，像 OpenAI o1/o3、DeepSeek-R1 这样的大型推理模型（Large Reasoning Models，LRMs）通过加长「思考链」（Chain-of-Thought，CoT）在推理任务上表现惊艳。但随之而来的是一个日益严重的问题：它们太能「说」了！生成的推理过程往往充斥着冗余信息（比如反复定义）、对简单问题过度分析，以及对难题的探索浅尝辄止。

4/4/2025 1:47:00 PM

机器之心

为什么说JSON不一定是LLM结构化输出的最佳选择？

当要求大语言模型（LLM）输出结构化数据时，所采用的格式会对结果产生比较大的影响。本文对比了六种不同的格式，评估考察了它们的处理速度、tokens 消耗以及各自的限制。 1.简要说明JSON 虽然是多数人的首选，但它对 tokens 的消耗极大。

3/12/2025 6:55:00 AM

BaiHai IDP

华为杨超斌：近 8 个月，国内 AI 大模型 Token 所带来的流量增长了 33 倍

杨超斌预计，到2030年，中国市场因为Token带来的网络流量的增加，将会达到每天500TB左右，而现在全中国所有的移动网络流量加起来每天是90TB。这意味着单就Token的数量就可以带来移动网络流量的增长。

3/4/2025 7:47:31 PM

清源

AI编程工具Cursor已集成Claude 3.7 Sonnet推理模型

刚刚，Cursor AI宣布已集成Claude 3.7 Sonnet，并更新了用户界面，使其更加简洁易用。此外，Cursor还引入了跨聊天对话功能，能够自动总结聊天摘要并继承到新开的聊天窗口中，进一步提升了用户体验。早些时候，Anthropic公司正式发布其最新推理模型——Claude3.7Sonnet。

2/25/2025 8:26:00 AM

AI在线

超越思维链？深度循环隐式推理引爆AI圈，LLM扩展有了新维度

不需要特殊训练数据，能处理语言难以形容的任务，3.5B 参数能实现 50B 的性能。这是一种全新的语言模型架构，能够通过使用循环语言模型在潜在空间中隐式推理，显著提升模型的计算效率，尤其是在需要复杂推理的任务上。近日，马里兰大学的一篇论文在 AI 研究社区中引发了关注，其提出的语言模型通过迭代循环块来工作，能在测试时展开到任意深度。

2/12/2025 2:22:00 PM

机器之心

Meta公布BLT新架构：告别token，拥抱patch

译者 | 核子可乐审校 | 重楼Meta发布的BLT架构为大模型扩展找到又一条出路，也开启了用patch方法取代token的全新可能性。开篇先提问：我们为什么非得把文本拆分成token？直接用原始字节怎么就不行？

1/22/2025 8:17:03 AM

核子可乐

0 Token 间间隔 100% GPU 利用率，百度百舸 AIAK 大模型推理引擎极限优化 TPS

什么是大模型推理引擎大模型推理引擎是生成式语言模型运转的发动机，是接受客户输入 prompt 和生成返回 response 的枢纽，也是拉起异构硬件，将物理电能转换为人类知识的变形金刚。大模型推理引擎的基本工作模式可以概括为，接收包括输入 prompt 和采样参数的并发请求，分词并且组装成 batch 输入给引擎，调度 GPU 执行前向推理，处理计算结果并转为词元返回给用户。和人类大脑处理语言的机制类似，大模型首先会把输入的 prompt 进行统一理解，形成具有记忆能力的上下文。

1/8/2025 8:55:32 AM

谷歌 DeepMind 开源 SynthID Text 工具，可辨别 AI 生成的文字

谷歌 DeepMind 于 10 月 23 日宣布正式开源旗下 SynthID Text 文本水印工具，供开发者和企业免费使用。谷歌在 2023 年 8 月推出了 SynthID 工具，该工具具备创建 AI 内容水印（声明该作品由 AI 打造）和识别 AI 生成内容的能力。它可以在不损害原始内容的前提下，将数字水印直接嵌入由 AI 生成的图像、声音、文本和视频中，同时也能扫描这些内容已有的数字水印，以辨识它们是否由 AI 生成，不过本次谷歌开源的仅为针对文本生成的 SynthID Text。

10/27/2024 3:00:06 PM

漾仔

马斯克的 xAI 正式发布 API，开发者可将 Grok 集成到其他应用

埃隆・马斯克的人工智能公司 xAI 正式发布了其应用程序编程接口（API），允许开发者将 Grok 集成到其他应用程序中。马斯克在周一宣布了这一消息，并同时在 xAI 网站上发布了该接口的链接。此前，马斯克曾在 8 月份确认将为 Grok 提供 API 的计划，并在 3 月份开源了该软件的权重。

10/22/2024 7:42:42 AM

远洋

智源发布原生多模态世界模型 Emu3，宣称实现图像、文本、视频大一统

感谢智源研究院今日发布原生多模态世界模型 Emu3。该模型只基于下一个 token 预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。官方宣称实现图像、文本、视频大一统。

10/21/2024 11:25:48 PM

沛霖（实习）

智谱 AI 宣布 10 月最低 1 折开放全部官方模型 API，每位用户可获 1 亿 tokens 额度

智谱 AI 今天下午发布 10 月最新促销活动，最低 1 折调用开放平台 bigmodel.cn 所有官方模型 API，期间每位用户均可获赠 1 亿 tokens 额度。此外，在 10 月内，根据用户前一天的 token 用量，次日可享阶梯折扣。日消耗超 1 亿 token，次日所有 API 调用 5 折优惠日消耗超 10 亿 token，次日所有 API 调用 3 折优惠日消耗超 100 亿 token，次日所有 API 调用 1 折优惠据AI在线此前报道，今年 8 月，智谱 AI 在 KDD 2024 大会上发

9/29/2024 9:10:13 PM

清源

AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用

AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。AMD 表示，这款模型在四个 AMD Instinct MI25

9/29/2024 5:08:32 PM

漾仔

《Python机器学习》作者科普长文：从头构建类GPT文本分类器，代码开源

学起来吧！近日，机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文，主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。文章展示了如何将预训练的大型语言模型（LLM）转化为强大的文本分类器。AI在线对文章内容进行了不改变原意的编译、整理：为什么要关注分类呢？首先，针对分类任务，对预训练模型进行微调是一个简单有效的 LLM 知识入门方式。其次，文本分类有许多商业应用场景，比如：垃圾邮件检测、情感分析、客户反馈分类、主题分类等等。阅读完本文，你将找到以下

9/28/2024 2:24:00 PM

机器之心

资讯热榜

阿里推出 AI 医学助手 App“氢离子”：收录千万级核心期刊文献，还可查疾病、找药品 Lovart 实战深度测评！仅需4小时帮你完成一整套品牌全案设计！性能比肩 Gemini-2.5 pro、o4-mini：阿里通义千问 Qwen 3 推理模型超级进化，现已开源 Memories AI携全球首个人工智能视觉记忆模型亮相，获800万美元种子轮融资 Meta 被指控盗用 2000 余部成人影片训练 AI，或面临 3.5 亿美元天价赔偿刷新无监督异常检测上限！首提「匹配代价滤波for异常检测」范式 | ICML'25 OpenAI 董事会主席：如果你想快速烧掉百万美元，就开发自己的 AI 模型吧 AI和云基础设施初创企业E2B如何成为88%的财富100强企业的必备选择

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini AI创作马斯克论文智能体 Anthropic 英伟达代码算法训练 Stable Diffusion 芯片开发者蛋白质腾讯生成式 LLM 苹果 Claude 神经网络 AI新词 3D 研究机器学习生成 AI for Science Agent xAI 计算人形机器人 Sora AI视频 GPU AI设计百度华为搜索大语言模型工具场景字节跳动具身智能 RAG 大型语言模型预测深度学习伟达视觉 Transformer AGI 视频生成神器推荐亚马逊 Copilot DeepMind 架构模态应用