近日，Mistral AI 推出了其 Voxtral 模型，旨在结合文本和音频处理功能，为多种应用场景提供支持。Voxtral 系列包括两种不同的模型:Voxtral-Mini-3B-2507和 Voxtral-Small-24B-2507，前者为一个优化过的3亿参数模型，适合快速音频转录和基础的多模态理解，而后者则拥有240亿参数，支持更复杂的音频文本智能和多语言处理，非常适合企业级应用。
这两个模型均支持长达30至40分钟的音频上下文，具有自动语言检测功能，并可以处理多达32，000个标记。这些模型在 Apache2.0许可证下发布，适用于商业和研究项目，具备高效的多模态智能处理能力，可以在单一流程中处理口头和书面交流。
在本文中，我们展示了如何通过使用 vLLM 和 “自带容器（BYOC）” 的方法，在亚马逊 SageMaker AI 端点上托管 Voxtral 模型。vLLM 是一个高性能的库，能够更好地管理大规模语言模型的内存，并支持跨多个 GPU 的张量并行处理。SageMaker 的 BYOC 功能允许用户使用自定义的容器镜像进行部署，这使得在模型的优化和版本控制上更加灵活。
整个部署过程由 SageMaker 笔记本环境作为核心控制点，负责构建和推送自定义 Docker 镜像至亚马逊弹性容器注册中心（ECR），并管理模型配置和部署工作流。此外，亚马逊 S3还负责存储 Voxtral 实施所需的关键文件，从而实现配置与容器镜像的模块化分离。
该解决方案支持多种用例，包括仅文本处理的传统对话 AI，精确的音频文件转录，以及结合音频和文本智能的复杂应用场景。用户可以通过简单的配置更新，在 Voxtral-Mini 和 Voxtral-Small 模型之间无缝切换。通过实现这些多模态功能，Voxtral 可以为用户提供更为灵活和高效的音频和文本处理服务。
划重点:
📌 Voxtral 模型结合文本和音频处理，支持多种应用场景。
🔧 亚马逊 SageMaker 支持使用自定义容器托管 Voxtral 模型，灵活性更高。
💡 支持多种用例，包括文本处理、音频转录和复杂的多模态应用。
