iTransformer

重新审视Transformer：倒置更有效，真实世界预测的新SOTA出现了

反转 Transformer，变成 iTransformer。Transformer 在时间序列预测中出现了强大能力，可以描述成对依赖关系和提取序列中的多层次表示。然而，研究人员也质疑过基于 Transformer 的预测器的有效性。这种预测器通常将相同时间戳的多个变量嵌入到不可区分的通道中，并对这些时间 token 进行关注，以捕捉时间依赖性。考虑到时间点之间的数字关系而非语义关系，研究人员发现，可追溯到统计预测器的简单线性层在性能和效率上都超过了复杂的 Transformer。同时，确保变量的独立性和利用互信息

11/6/2023 11:39:00 AM

机器之心

资讯热榜

Kimi K2 高速版kimi-k2-turbo-preview发布输出每秒 40 Tokens 一次中稿10篇ACL25，通义实验室代码智能&对话智能团队在研究什么多项力压 Grok 4、OpenAI o3，谷歌推出 Gemini 2.5 Deep Think 模型 OpenAI 被曝向搜索引擎公开 ChatGPT 共享对话内容，后因隐私风险叫停 Kimi K2高速版发布输出速度提升至每秒40 Tokens 马斯克、吴恩达青睐，黄仁勋批评，见证百度、OpenAI内部起落，Anthropic CEO自曝式采访：诞生四年，每年营收十倍增长 OpenAI回应ChatGPT用多了会变傻 OpenAI 回应“ChatGPT 用多了会变傻”：AI 本质上是工具，关键在如何使用

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini AI创作马斯克论文智能体英伟达 Anthropic 代码算法训练 Stable Diffusion 芯片开发者蛋白质腾讯 LLM 生成式苹果 Claude 神经网络 Agent AI新词 3D 机器学习 AI for Science 研究生成 xAI 人形机器人 AI视频计算 Sora GPU AI设计百度华为工具搜索大语言模型具身智能场景 RAG 字节跳动大型语言模型预测深度学习伟达视觉 Transformer AGI 视频生成神器推荐亚马逊架构 Copilot DeepMind 模态安全