OpenTelemetry 对于 MQTT 和物联网可观测性的优势

插图：© IoT For All OpenTelemetry（也称为 OTel）是一组用于对遥测数据（指标、日志和跟踪）进行工具化、生成、收集和导出的工具、API 和 SDK，以便进行分析。云原生计算基金会（CNCF）管理着这一开源的可观测性平台，旨在提供所有必要的组件，以无供应商偏向的方式观察您的服务。 OpenTelemetry 使开发人员能够在各种行业中构建标准化、可互操作的遥测数据采集管道。无论他们是在开发小型内部项目还是大规模分布式系统，它都让开发人员能够轻松地为其软件添加遥测数据支持。 可观测性正成为许多领域软件开发的重点，特别是在物联网（IoT）行业。物联网的部署是高度分布式的，可能涉及数百万个连接设备。由于物联网设备的计算能力有限，使用传统工具进行监控可能是不可行的。这就是 OpenTelemetry 发挥作用的地方，它提供了灵活的方法来从物联网设备中收集遥测数据，即使在最复杂的物联网环境中也能够实现可观测性。 我们将介绍 OpenTelemetry 的基础知识，然后说明它如何帮助监控和管理物联网通信，特别是使用 MQTT 协议的情况。 OpenTelemetry 的三项核心概念 #1：指标（Metrics） 在 OpenTelemetry 中，指标是在时间间隔内收集的数据的数值表示。这些可以是系统属性的测量值，例如 CPU 使用率和内存消耗，也可以是自定义业务指标，例如购物车中的商品数量。指标帮助开发人员监控应用程序的健康状况，并在资源分配、性能优化等许多应用程序开发和维护方面做出明智决策。 #2：日志（Logs） 在 OpenTelemetry 中，日志是对离散事件的时间戳记录。这些事件可以是代码中的错误或异常、系统事件，或是用户操作。日志对于理解应用程序的行为和调试至关重要。它们提供了应用程序内部发生的事件的详细视图，使识别和修复问题变得更加容易。 #3：跟踪（Tracing） 跟踪是 OpenTelemetry 的核心概念之一。在 OpenTelemetry 中，跟踪被定义为系统中一系列因果相关事件的表示。这些事件可以包括请求的开始和结束、数据库查询或对外部服务的调用。跟踪帮助开发人员理解导致特定结果的事件序列，从而更容易地调试和优化其应用程序。 OpenTelemetry 的组件 现在我们来分解一下 OpenTelemetry 的各个组件。下图展示了这些组件是如何协同工作的。 EMQ Technologies Inc. OpenTelemetry Collector OpenTelemetry Collector 作为应用程序与处理数据的后端之间无供应商偏向的桥梁。Collector 可以摄取、处理和导出遥测数据。它充当中间人，使您的应用程序只需与遥测后端建立更少的连接点。它还可以标准化您的数据，使其能够被不同的遥测后端读取。 语言 SDK OpenTelemetry 为多种语言（如 Java、Python 和 Go 等）提供了语言 SDK。这些 SDK 是开发人员为其代码添加遥测数据采集功能所必需的。它们提供了用于手动工具化的 API，并包含自动工具化库。SDK 还处理批处理和重试逻辑，使开发人员更容易确保数据的可靠传输。 代理和工具化 代理是您安装到服务中的组件，用于生成遥测数据。它们可以自动工具化您的代码，通过最小的代码更改添加跟踪和指标数据采集功能。工具化是插入到应用程序中用于收集数据的代码。它可以是开发人员手动添加到代码中的，也可以由代理提供。 导出器 导出器是将遥测数据从您的服务传输到后端的组件。它们将数据转换成后端可以理解的格式。OpenTelemetry 为 Jaeger、Prometheus 等常见后端提供了多个导出器，您也可以编写自定义的导出器。 OpenTelemetry 对物联网部署的好处 OpenTelemetry 越来越被用于支持物联网环境的可观测性。以下是这个多功能平台如何帮助管理大规模物联网部署的几个方面： 增强的可观测性：通过将物联网（IoT）系统与 OpenTelemetry 集成，您可以从各种来源（包括连接设备）收集数据，从而获得系统功能的全面视图。这种全面的视图在识别瓶颈、潜在故障和优化空间方面非常有价值。 改进的故障排查：OpenTelemetry 通过提供系统操作的详细见解来帮助故障排查。当问题发生时，尤其是在分布式系统中，识别根本原因可能很困难。然而，OpenTelemetry 的跟踪和日志数据可以帮助定位故障点，并保持系统的正常运行时间。 性能监控：性能监控是使用 OpenTelemetry 的另一个重要好处。它允许开发人员实时跟踪应用程序的性能，以确保它们达到预期的性能标准。如果性能下降，开发人员可以使用 OpenTelemetry 提供的详细指标来识别原因，并实施必要的优化。 安全洞察：当 OpenTelemetry 用于跟踪安全相关事件（如登录尝试）时，可以提供有价值的安全洞察。对安全指标的可见性以及对其的分析有助于识别安全漏洞或入侵，及时做出响应，并保护物联网系统。 支持分布式跟踪：OpenTelemetry 支持分布式跟踪，这是微服务架构中的关键功能。分布式跟踪帮助开发人员了解请求在穿越各个微服务时的路径，这对于诊断问题和优化物联网环境中的服务交互至关重要。 在 MQTT 中使用 OpenTelemetry MQTT（消息队列遥测传输）是一种广受欢迎的轻量级消息协议，广泛应用于物联网部署中。MQTT 的优势在于其简单性和高效性，使其非常适合网络带宽有限的场景。 当与 OpenTelemetry 结合使用时，MQTT 可以借助全面的可观测性框架的力量。以下是 OpenTelemetry 如何补充 MQTT 的方式： 数据丰富：OpenTelemetry 可以为通过 MQTT 传输的数据包添加额外的元数据。这可以包括设备标识符、位置标签等信息。这些丰富数据提供了一个更上下文化的操作视图，从而更容易得出有意义的见解。 集中式数据收集：OpenTelemetry 可以从多个 MQTT 代理收集数据并将其聚合到一个集中式数据存储中。这对于涉及多个代理向众多设备分发消息的大型物联网部署来说特别有用。 实时监控：使用 OpenTelemetry，组织可以实现对 MQTT 消息的实时监控。此功能有助于识别消息传递中的任何延迟或瓶颈，这对于关键任务的物联网应用来说至关重要，因为延迟可能导致严重后果。 数据导出灵活性：通过 OpenTelemetry 的各种导出器，您可以将遥测数据推送到多种数据后端以进行进一步分析。例如，您可以将 MQTT 的数据导出到云端解决方案（如 Azure Monitor）或本地设置（如 Grafana）。 分析与洞察：通过将 MQTT 的轻量级数据传输能力与 OpenTelemetry 强大的分析功能结合，组织可以深入挖掘其数据。这种组合使得优化设备性能、进行预测性维护，甚至基于用户行为识别市场趋势成为可能。 MQTT 与 OpenTelemetry：关键指标监控 OpenTelemetry 可以为 MQTT 环境的性能提供有价值的见解。让我们来看一下需要监控的关键指标。 客户端指标：客户端指标至关重要，因为它们提供了每个 MQTT 客户端性能的见解。这些包括消息发布的数量、消息接收的数量以及活动连接的数量。监控这些指标可以帮助您识别在系统中表现不佳或引发问题的客户端。 消息指标：消息指标提供了系统中整体消息流量的概览。这些包括发送和接收消息的总数以及消息的大小。通过监控这些指标，您可以了解系统的负载情况，并识别潜在的瓶颈或问题。 代理指标：代理指标提供了对 MQTT 代理性能的洞察。这些包括连接客户端的数量、订阅数以及代理的内存使用情况。监控这些指标可以帮助您确保代理的性能最佳，并及早识别潜在问题。 延迟指标：延迟指标对于了解系统性能至关重要。这些包括端到端延迟以及单个操作的延迟。高延迟会影响系统的性能和可靠性，因此监控这些指标可以帮助您及早发现并解决这些问题。 错误和故障指标：错误和故障指标对于了解系统可靠性至关重要。这些包括消息丢失的数量、断开连接的数量以及客户端或代理抛出的错误数量。监控这些指标可以帮助您早期检测和修复问题，从而减少对系统性能和可靠性的影响。