译者 | 布加迪
审校 | 重楼
这篇实用指南帮助你从概念验证迈入到生产就绪的机器学习。
构建能够切实解决实际问题的机器学习模型不仅仅需要在测试时取得高准确率得分，更需要构建能够在生产环境中持续运行的系统。
本文介绍了七个实用技巧，帮助你专注于构建能够提供可靠业务价值而非仅仅追求出色指标的模型。让我们开始吧！
1. 从问题而非算法入手。
机器学习项目中最常见的错误是，在理解所要解决的问题之前一味盯着某种特定技术。在开始为梯度提升模型或神经网络编写代码或开始进行超参数调优之前，请花大量时间与将实际使用模型的人进行沟通。
实践操作如下：
- 跟踪现有流程至少一周。
- 了解误报和漏报带来的实际成本。
- 规划出模型将适用的整个工作流程。
- 明确“足够好”的性能对于模型和所解决的问题意味着什么。
一个能发现95%的欺诈行为，却将20%的合法交易标记为可疑交易的欺诈检测模型在数学层面上可能令人印象深刻，但在业务操作上毫无用处。最好的模型常常是最简单的、能够可靠地推动业务发展的模型。
2. 将数据质量视为最重要的特性。
模型的好坏取决于你的数据，但大多数团队将80%的时间花在算法上、将20%的时间花在数据质量上。这个比率应该倒过来。干净、有代表性、易于理解的数据每次都胜过那些用劣质数据训练的花哨算法。
尽早养成以下习惯：
- 创建自动随每个管道运行的数据质量检查。
- 跟踪生产环境中的数据漂移指标。
- 跟踪数据源和转换。
- 关键统计属性发生变化时发出警报。
切记：使用高质量数据训练的线性回归通常胜过使用不一致、有偏差或过时的信息训练的深度神经网络。致力于搭建数据基础设施，就像贵公司依赖它一样，因为确实依赖它。
3. 一开始就为确保可解释性而设计。
在学习机器学习时，“黑盒”模型可能效果很好。但对于生产环境而言，添加可解释性始终是更明智的做法。当你的模型做出影响重大的错误预测时，你需要了解其原因以及如何避免。
实用的可解释性策略包括如下：
- 使用SHAP或LIME等归因方法来解释单个预测。
- 尝试使用适用于不同算法的模型无关解释。
- 创建决策树或基于规则的模型作为可解释的基准。
- 用简单明了的语言记录驱动预测的特征。
这不仅仅关乎合规或调试。可解释的模型可以帮助你发现有关问题领域的新见解，并获得利益相关者的信任。能够解释其推理过程的模型可以系统地予以改进。
4. 针对真实场景而不仅仅是测试集进行验证。
传统的训练/验证/测试拆分常常忽略最重要的问题：当条件发生变化时，这个模型是否有效？真实世界的部署涉及数据分布变化、极端情况以及你精挑细选的测试集从未预料到的对抗性输入。
除了基本验证外，还应该：
- 使用来自不同时间段、地域或用户群的数据进行测试。
- 模拟真实的极端情况和故障模式。
- 使用对抗性验证等技术来检测数据集偏移。
- 创建压力测试，使你的模型不仅限于面对正常的运行条件。
如果你的模型面对上个月的数据表现良好，但面对今天的流量模式却失败了，那么它实际上毫无帮助。一开始就应该将稳健性测试纳入到你的验证流程。
5. 部署前实施监控。
大多数机器学习团队将监控视为事后才考虑的环节，但生产模型的性能会悄无声息地、不可预测地下降。等到你通过业务衡量指标注意到性能问题时，可能已经造成了重大损失。
必要的监控组件包括如下：
- 输入数据分布跟踪（在漂移影响预测之前检测漂移）。
- 预测置信度评分和异常值检测。
- 持续跟踪模型性能衡量指标。
- 业务衡量指标相关性分析。
- 异常行为自动警报。
在开发期间而不是在部署后搭建监控基础设施。你的监控系统应该能够在用户发现问题之前检测到问题，让你有时间在业务受到影响之前重新训练或回滚。
6. 规划模型更新和重新训练。
模型的性能并非始终一致。用户行为、市场形势和数据模式都会发生变化。除非你采用系统性的方法使模型保持最新状态，否则今天运行良好的模型会随着时间的推移逐渐变得不那么有用。
构建可持续的更新流程需要做以下工作：
- 自动化数据管道更新和特征工程。
- 根据性能下降阈值创建重新训练时间表。
- 实施模型更新的A/B 测试框架。
- 维护模型、数据和代码的版本控制。
- 规划增量更新和完整模型重建。
目的并非创建一个完美的模型，而是创建一个能够适应不断变化的条件并保持可靠性的系统。模型维护并非一次性的工程任务。
7. 为业务影响而非衡量指标而优化。
准确性、精确率和召回率虽然有用，但它们并非业务衡量指标。最有用的机器学习模型是针对可衡量的业务成果进行优化的：增加收入、降低成本、提高客户满意度或加快决策速度。
将技术衡量指标与业务价值相结合：
- 根据业务成果定义成功标准。
- 当不同的错误导致不同的业务成本时，使用成本敏感型学习。
- 长期跟踪模型的投资回报率和成本效益。
- 在模型预测和业务结果之间建立反馈循环。
能够将业务流程改进10%且准确率达到85%的模型其价值远高于准确率达到99%却并不改进业务流程的模型。致力于构建能够创造可衡量价值的系统，而不是只图出色的基准分数。
结语
构建实用的机器学习模型不仅仅需要思考算法，更要思考整个系统生命周期。先要明确定义问题，致力于确保数据质量，为可解释性和监控而设计，并始终以实际业务影响为目标进行优化。
最成功的机器学习从业者不一定是那些对尖端算法拥有最深厚知识的人，而是能够持续交付在生产环境中可靠运行的系统，并为其组织创造可衡量价值的人。
请记住：一个易于理解、得到适当监控且符合业务需求的简单模型总是比一个在开发环境中完美运行，但在实际环境中莫名失败的复杂模型更有帮助。
原文标题：Tips for Building Machine Learning Models That Are Actually Useful，作者：Bala Priya C
