近日，Qafind Labs发布了其最新研发的ChatDLM模型，这一创新成果在人工智能领域引起了广泛关注。ChatDLM是首个将“区块扩散（Block Diffusion）”和“专家混合(MoE)”深度融合的模型，其在GPU上实现了惊人的2，800tokens/s超高推理速度，支持131，072tokens的超大上下文窗口，开启了文档级生成和实时对话的新纪元。
ChatDLM的核心亮点在于其独特的技术架构。该模型采用7B参数量，通过区块扩散技术，将输入按块分组，结合空间扩散和跨块注意力机制，极大地提升了处理速度。同时，ChatDLM引入了专家混合（MoE）技术，配置了32到64个专家，每次选择2个专家进行处理，这种灵活的机制进一步优化了模型的性能。
为了支持超大上下文，ChatDLM采用了RoPE优化和分层缓存技术，显著增强了模型的记忆能力。在推理优化方面，ChatDLM通过动态早停、BF16混合精度以及ZeRO分片等技术，实现了多GPU的轻松扩展，进一步提升了模型的效率和可扩展性。
在性能测试中，ChatDLM在A100GPU上表现出色，吞吐量达到2800tokens/s，上下文长度为131，072tokens，平均迭代步数在12到25之间。在HumanEval（0-shot）测试中，ChatDLM的准确率达到92.0%，在Fill-in-the-Middle测试中准确率为84.2%，在ARC-E(0-shot)测试中准确率为83.9%，这些数据充分证明了其卓越的性能。
展望未来，Qafind Labs计划为ChatDLM引入更多先进技术，包括自适应迭代（Adaptive Iteration）、图注意力集成(Graph-Attention)以及多模态扩散(Multimodal Diffusion)，以进一步提升模型的精度和适用范围。
体验地址：https://www.chatdlm.cn
