FlightLLM

比A100性价比更高！FlightLLM让大模型推理不再为性能和成本同时发愁

大语言模型在端侧的规模化应用对计算性能、能效比需求的“提拽式”牵引，在算法与芯片之间，撕开了一道充分的推理竞争场。面对想象中的终端场景，基于 GPU 和 FPGA 的推理方案的应用潜力需要被重新审视。近日，无问芯穹、清华大学和上海交通大学联合提出了一种面向 FPGA 的大模型轻量化部署流程，首次在单块 Xilinx U280 FPGA 上实现了 LLaMA2-7B 的高效推理。第一作者为清华大学电子系博士及无问芯穹硬件负责人曾书霖，通讯作者为上海交通大学副教授、无问芯穹联合创始人兼首席科学家戴国浩，清华大学电子工程

1/10/2024 5:00:00 PM

李亚洲

资讯热榜

量大管饱！我整理了10个好用到爆的即梦4.0进阶玩法全球高校 “猎杀” AI作业！学生如何应对 “人类化” 挑战？ Gemini加密交易所IPO价格大幅上调，目标估值超30亿美元！ AI 数据版权新纪元：Real Simple Licensing 协议引发行业关注 ChatGPT能随便连MCP了！对话就能开发票、帮退款…奥特曼的野心毕露：将OpenAI打造成全能型平台！开发者：太危险了不敢用 OpenAI进军韩国市场，携手三星与SK海力士共建AI未来！甲骨文公司股价飙升 27%，人工智能未来收入大幅增长光刻机巨头杀入AI：ASML拿下Mistral 11%股权

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能 Meta 用户微软 GPT 学习技术图像 Gemini 智能体马斯克 AI新词 AI创作 Anthropic 英伟达论文训练代码算法 LLM Stable Diffusion 芯片腾讯苹果蛋白质 Claude 开发者 AI for Science Agent 生成式神经网络机器学习 3D xAI 研究人形机器人生成 AI视频百度计算工具 Sora GPU 大语言模型华为 RAG AI设计字节跳动具身智能搜索大型语言模型场景深度学习 AGI 视频生成预测视觉伟达架构 Transformer 神器推荐 DeepMind 亚马逊特斯拉编程 AI模型