AI在线 AI在线

draft

美警使用 AI 工具写文书：8 秒生成犯罪现场报告，竟比人脑回忆还准

美警使用 AI 工具写文书：8 秒生成犯罪现场报告，竟比人脑回忆还准

美国警察开始使用人工智能工具 Draft One 辅助文书工作，犯罪报告秒生成，比人脑回忆更准确。三百六十行，行行用 AI——AI 可以用来协助警务工作了，最近，由 GPT-4 支持的人工智能开始用于撰写犯罪报告和归档文书。今年 4 月，Axon 推出了一款名为 Draft One 的新工具，Draft One 可以转录执法记录仪中的音频，并自动转变成一份警务报告。Draft One 使用和 ChatGPT 相同的人工智能生成模型，云服务则由微软提供。Draft One 的推出很快受到了警务人员的欢迎，因为琐碎的数
8/31/2024 1:48:50 PM 清源
进我的收藏夹吃灰吧：大模型加速超全指南来了

进我的收藏夹吃灰吧：大模型加速超全指南来了

2023 年，大型 语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。最近，一位名为 Theia Vogel 的博主整理撰写了一篇长文博客，对加速 LLM 推理的方法进行了全面的总结，对各种方法展开了详细的介绍，值得 LLM 研究人员收藏查阅。以下是博客原文内容。之前，我使用经典的自回归采样器手动制作了一个 transformer，大致如下：这种推理方法很优雅，是 LL
2/15/2024 2:54:00 PM 机器之心