如何解决机器学习模型漂移问题
插图：© IoT For All --> 大多数人听说过人工智能（AI），但了解机器学习（ML）概念的人就少多了。关于这项高科技过程，有很多内容需要了解，并且似乎总有新的东西可以学习；例如，机器学习模型漂移。运行ML模型的一个缺点是，随着时光流逝，它需要重新训练。随着业务成果、经济状况和客户期望的变化，机器学习模型的预测准确性会下降，这种现象称为“模型漂移”。机器学习模型漂移何时发生，从业者又该如何应对？“在当今这个由数字驱动的世界中，人工智能和机器学习正变得越来越受欢迎。一些最大的公司利用机器学习提供产品和服务。”——Zac Amos 点击推文 什么是机器学习模型漂移？在当今这个由数字驱动的世界中，人工智能和机器学习正变得越来越受欢迎。一些最大的公司利用机器学习提供产品和服务。以Netflix为例。这家流媒体服务公司使用机器学习模型，原因包括形成推荐列表，或者了解哪些特征使内容更受欢迎。企业正在投资AI解决方案，消费者正在为经过机器学习优化的内容付费，工程师们则在各个行业中发现新的应用场景。任何AI或ML解决方案中最关键的组成部分是结构化和非结构化数据。数据是复杂且会随时间而变化的，机器学习模型训练所用的信息也不例外。 当机器学习模型的预测准确性降低时，就会出现模型漂移。模型漂移或退化会使模型变得不稳定，导致其预测越来越错误。机器学习的一个核心原则是高质量的数据能够产生准确的预测。然而，原始模型所训练的目标可能会变得无关紧要或过时。机器学习工程师和专家必须经历重新训练和重新部署模型的流程，确保使用最新的训练数据。否则，模型将继续产生低准确度的预测。 模型漂移有两种类型：概念漂移和数据漂移。 概念漂移 概念漂移发生于模型的目标或统计属性发生变化时。在模型的训练阶段，它学习了一个映射目标变量的函数。但是，随着时间的推移，模型会逐渐失去这些模式，或无法在新环境中使用它们。这种类型的漂移可能是季节性的、逐步发生的，也可能是突然发生的，使得难以提前预测何时会发生。 数据漂移 数据漂移——或协变量漂移——发生在机器学习训练信息发生变化时。模型的所有输入变化都会影响最终的预测结果。其变量的分布会有所不同，因此用户需要意识到这种差异。 如何应对模型漂移 机器学习专家通常使用漂移检测工具，这些工具可以自动化模型监控。然而，数据科学家和机器学习专家还有其他方法可以处理漂移情况。以下是应对模型漂移所需采取的步骤。 分析漂移 绘制漂移特征的分布至关重要，目标是确定是什么变化导致了漂移。它是否符合静态机器学习模型的基准？令人惊讶的是，一些漂移比其他漂移的意义更小，因此专家必须仔细分析，并决定是否值得处理。 检查数据质量 检测到漂移的组织首先应检查模型的输入数据。某些东西发生了变化，但具体是什么？模型是否仍然与项目目标相关？数据质量应始终是漂移情况的主要嫌疑对象。用户可以选择处理漂移或什么都不做。收到警报可能是误报，或者人们可能对漂移影响预测的程度感到满意。但有时候，改变是必要的。 重新训练模型 由于数据分布会随时间变化，因此在检测到漂移后重新训练模型至关重要。部署机器学习模型并不是一次完成的项目，而是一个持续的过程。 重新训练模型的主要原因是让模型能够跟上输入数据和输出数据之间新兴趋势的步伐。 每年定期检查模型几次，以确保它使用的是最新的训练信息。 监控问题 一旦模型从新的训练数据中学习，就要密切关注漂移如何受到影响。定期更新是明智的，重新训练模型后进行检查将有助于数据科学家及其他专业人士判断漂移是否仍然发生。如果检测到漂移，请按照上述步骤进行操作。漂移检测工具是一项值得的投资，因为它们减少了进行修正所需的额外责任和时间。 在机器学习项目中注意漂移 每位数据科学家、研究人员和工程师都应该注意漂移，尤其是在当今竞争激烈的商业领域。机器学习最显著的特点之一是能够使用历史数据预测未来结果。当发生漂移时，预测结果就会变得不准确。任何根据这些信息做出的商业决策都可能损害组织。注意概念漂移和数据漂移，因为它们会严重影响模型的性能。 推文分享分享电子邮件 机器学习 人工智能 大数据 数据分析 --> 机器学习 人工智能 大数据 数据分析
查看全文
作者最近更新
-
Edge and IoT Predictions For 2024iotforall
2023-12-22
评论0条评论