理论

大模型性能压测利器：解析vLLM推理服务压测工具

在大模型部署的汪洋大海中，性能压测就像是航行中的指南针——不仅指引方向，还能预见暗礁。今天我们来聊聊一个专门为vLLM推理服务量身定制的性能压测工具，看看它如何让大模型的性能评估变得既科学又优雅。痛点：大模型性能评估的"黑盒困境"想象一下这样的场景：你刚刚部署了一个32B参数的DeepSeek-R1模型，信心满满地准备上线服务。

7/31/2025 1:47:00 AM

萤火AI百宝箱

GLM-4.5核心特性概览：•MoE 架构•混合推理模型•总参数 355B（激活参数 32B）•GQA 部分 RoPE•多 Token 预测•Muon 优化器 QK 归一化•22T Token 训练语料•Slime RL 基础设施•原生工具调用图片图片模型架构与预训练：GLM-4.5 总参数规模达 355B（激活参数 32B），采用更深但更窄的模型设计，通过增加层数和 96 个注意力头来优化推理能力。轻量版 GLM-4.5-Air 为 106B 参数（激活参数 12B）。图片训练语料库规模达 22T Token，其中包含 15T 通用数据和 7T 代码/推理专用数据。

7/31/2025 1:45:00 AM

无影寺

沈向洋对话谷歌前CEO施密特：AI发展与中美合作的未来展望

7月26日，世界人工智能大会（WAIC）在上海拉开帷幕。香港科技大学校董会主席、美国国家工程院外籍院士沈向洋和前Google CEO埃里克·施密特（Eric Schmidt）围绕“人工智能全球合作展望”的主题，展开了一场“炉边对话”，回顾了中国在AI领域的飞速发展，并探讨了AI安全、中美合作等核心议题。施密特强调，过去两年，中国的AI技术，特别是DeepSeek和Mini Max、Kimi等大模型，已经取得了举世瞩目的成就。

7/31/2025 1:44:00 AM

机器学习特征工程的最佳实践

特征工程是模型训练之前运行的关键过程，因为输入数据的质量直接决定了模型输出的质量。虽然深度学习模型擅长从图像或文本等非结构化数据中自动学习特征，但明确的特征工程对于表格数据集仍然至关重要。在本文中，云朵君将展示特征工程对回归任务的影响，特别关注具有混合数字、分类和基于时间的特征的大型表格数据集。

7/31/2025 1:22:00 AM

云朵君

ChatGPT「学习模式」火爆上线，一大波教育AI连夜被端！24小时导师免费用

刚刚，OpenAI迎来一个全新功能更新，但不是GPT-5。 ChatGPT上线了一个新模式——Study and Learn（学习模式）！使用这种模式，ChatGPT不仅仅提供答案，而是逐步引导解决问题。

7/31/2025 1:15:00 AM

现代LLM架构设计一览：从DeepSeek-V3到Kimi K2

主要内容现代LLM架构的演进主要围绕以下几个核心目标：提高推理效率：通过GQA、MLA、滑动窗口注意力、MoE等技术减少内存占用和计算量。增强训练稳定性：通过归一化层（如RMSNorm）的放置和QK-Norm等技术优化训练过程。优化模型容量与性能：通过MoE实现更大参数量和知识吸收能力，同时保持推理效率。

7/31/2025 1:00:00 AM

常华Andy

高水准的开发：能用AI解决的问题，绝不自己动手去写

对于开发人员和软件测试人员来说，最重要的是有一款量身定制的接口调试工具，可以让开发和测试工作事半功倍。 Apipost是AI驱动的集API设计、调试、文档生成、自动化测试、性能测试于一体的API开发协作管理平台，功能全面，尤其适合注重团队协作和轻量体验的用户。图片一、Apipost核心优势无需登录，离线可用：Apipost无需账号登录，支持离线调试，保护用户隐私，提升效率；高效的AI智能开发助手：集成AI大模型，解决接口开发测试过程中命名难题、手动维护文档繁琐等痛点问题，实现API设计、调试、文档生成和自动化测试的闭环高效开发管理；超轻量设计：资源占用少，加载迅速，适合对性能敏感的用户；100%兼容Postman脚本语法：用户可以无缝迁移现有Postman脚本，降低学习成本。

7/31/2025 12:00:05 AM

告别大统一模型！预填充解码分离背后的技术哲学革命

说实话，最近看到一个技术思路的时候，我有点被震撼到了。我们一直觉得，既然大语言模型这么厉害，那就应该用一个统一的大模型来处理所有事情——输入理解、上下文处理、token生成，全都交给一个模型搞定。这听起来很符合"大力出奇迹"的思路。

7/31/2025 12:00:00 AM

阿丸笔记

十年磨剑：云势数据以 AI 重构全球客户服务生态

某汽车客户通过云势数据 ConnectNow 电话机器人客户服务系统，引导终端用户处理设备故障问题。该系统可以支持 10 种语言，语音识别和故障信息录入准确率超过 90%，每年省 550 万元。这个案例数字的背后，是云势数据与亚马逊云科技合作，十年技术沉淀的爆发。

7/30/2025 5:52:19 PM

鸢玮

逆天!旧Mac上能run千亿参数SOTA!效果惊人:一次生成游戏，0修改！本地大模型拐点来了!网友：别被大模型叙事带偏了(附指南）

编辑 | 伊风出品 | 51CTO技术栈（微信号：blog51cto）起猛了，连老电脑都能跑智谱家新一代的 SOTA 模型了！一篇来自技术人 Simon Willison（Python 知名 Web 框架 Django 的共同创始人）的实测文章，在 Hacker News 上引发热议：“我 2.5 年高龄的旧笔记本，现在不仅能在本地跑千亿参数模型，甚至还能用它写出一款完整的 JavaScript 太空入侵者游戏。 ”图片这个模型，正是昨天新鲜出炉的 GLM-4.5 系列。

7/30/2025 2:11:55 PM

伊风

全球首次，「AI记忆」开源落地！MIRIX同步上线APP

还记得第一次用 GPT 写邮件的惊喜吗？却也一定遇到过今天的 AI「忘性」——聊得再深入，窗口一关，历史烟消云散。因此，研究人员认为：从「对话」到「记忆」，将是AI进化的必经之路。

7/30/2025 9:15:00 AM

科学能力太强，这个多模态推理「六边形战士」被严重低估！Intern-S1开源登顶

在人声鼎沸的WAIC 2025上，一款堪称「全能高手科学明星」合体的大模型，由于在科学方面太优秀，反倒显得低调——但它的能力却无法被忽视。它能精准解析分子结构、看懂地震波图、推演化学反应路径……7月26日，上海人工智能实验室（上海AI实验室）发布并开源「书生」科学多模态大模型Intern-S1。它不仅多模态能力全球开源第一，文本能力比肩国内外一流模型，科学能力全模态达到国际领先。

7/30/2025 9:05:00 AM

狂拿大模型明星订单，一家清华系HPC-AI Infra公司浮出水面

不靠囤算力，拿下数家大模型明星公司订单。 93年创始人掌舵的清华系计算创业公司，有点出其不意。 2023上半年，百模大战开启，模型预训练需求空前爆发，在算力焦虑下，囤积算力成为一种趋同性动作，更充裕的算力几乎就等于金额更高的订单。

7/30/2025 8:47:00 AM

每个人的AI科学助手！全球首个通用科学智能体来了，全网资源+1.7亿学术文献让科研效率狂飙

全球首个通用科学智能体，亮相WAIC！就在这届WAIC的未来发展论坛上，上海交大青年博导、CVPR满分论文得主张林峰，深势科技创始人张林峰，与上海交大陈思衡，共同发布了全球首个通用科研智能体SciMaster。 SciMaster是属于每个人的专家级科研助手，可以结合全网资源和1.7亿科学文献，帮你扫清科研过程中遇到的各种困难。

7/30/2025 8:45:00 AM

AI和云基础设施初创企业E2B如何成为88%的财富100强企业的必备选择

专为智能体设计云基础设施的初创公司E2B，已完成由Insight Partners领投的2100万美元A轮融资，借势企业对AI自动化工具需求的激增。据该公司透露，目前已有88%的《财富》100强企业签约使用E2B平台，这凸显了企业对智能体技术的迅速采纳。本轮融资吸引了现有投资者Decibel、Sunflower Capital和Kaya的参与，以及包括Docker的前CEO Scott Johnston在内的知名天使投资人的加入。

7/30/2025 7:20:00 AM

Michael

大模型中的嵌入向量

前面文章和小伙伴们聊了 Tokenizer，经过 Tokenizer 之后，自然语言变为 Token，那么大模型就可以直接训练 Token 了嘛？还不行！接下来还有一个词嵌入的环境，英文就是 Embedding，Embedding 实际上就是将 Token 转为张量，在有的场景下，Embedding 也指张量本身。

7/30/2025 4:15:00 AM

江南一点雨