2022年人体姿态估计技术能力和用例

插图：© IoT For All --> 什么是人体姿态估计？人体姿态估计（Human Pose Estimation，HPE）是计算机视觉中的一项任务，专注于在特定场景中识别人体的位置。大多数HPE方法是基于使用光学传感器记录RGB图像，以检测身体部位和整体姿态。它可以与计算机视觉的其他技术结合使用，应用于健身和康复、增强现实和监控领域。“健身应用和人工智能驱动的教练可能是人体姿态估计最明显的应用场景之一。” - MobiDev点击推文这项技术的核心在于检测人体四肢、关节，甚至面部上的兴趣点。这些关键点用于生成2D或3D的人体模型。艾尔伯特·爱因斯坦人体姿态的2D表示这些模型本质上是我们追踪运动过程中人体关节的地图。这使得计算机不仅能区分坐着和蹲着的人，还能计算特定关节的弯曲角度，并判断动作是否正确执行。目前有三种常见的人体模型：基于骨架的模型、基于轮廓的模型和基于体积的模型。其中，基于骨架的模型在人体姿态估计中最为常用，因为其灵活性高。这是因为该模型由一组类似脚踝、膝盖、肩膀、手肘、手腕以及构成人体骨骼结构的四肢方向组成。在人体姿态估计中，基于骨架的模型可用于2D和3D表示，但通常将2D和3D方法结合使用。3D人体姿态估计能提供更精确的应用度量，因为它考虑了深度坐标并将其纳入计算。对于大多数运动而言，深度是重要的，因为人体并不是在二维空间中移动的。那么，现在让我们从技术角度探讨3D人体姿态估计的工作原理，并了解此类系统的当前能力。3D人体姿态估计的工作原理人体姿态估计系统整体流程从捕获初始数据并上传供系统处理开始。由于我们涉及的是运动检测，我们需要分析一系列图像，而不是静态图片，因为我们需要提取关键点在运动模式中的变化。一旦图像上传，HPE系统将检测并跟踪所需的分析关键点。简而言之，不同的软件模块负责跟踪2D关键点、创建身体表示，并将其转换为3D空间。因此，一般来说，当我们谈到创建人体姿态估计模型时，我们指的是为2D和3D平面分别实现两个不同的模块。2D和3D姿态估计重建之间的区别因此，对于大多数人体姿态估计任务，流程将分为两个部分：从图像序列中检测和提取2D关键点。这包括使用水平和垂直坐标来构建骨架结构。将2D关键点转换为3D，增加深度维度。在此过程中，应用将进行必要的计算以执行姿态估计。在健身行业中，运动中的人体姿态估计只是一个例子。一些模型还可以检测人体面部的关键点并跟踪头部位置，这可用于娱乐应用，比如Snapchat的贴纸。但我们将在文章后面讨论HPE的用例。你可以查看我们的演示来了解其基本原理：只需上传一段短视频，展示一些动作，并等待处理时间以查看姿态分析结果。3D姿态估计的性能和准确性根据所选择的算法，HPE系统将提供不同的性能和准确性结果。我们来看看在我们的实验中，使用两个最受欢迎的人体姿态估计模型——VideoPose3D和BlazePose，它们的表现和准确性如何关联。我们在相同硬件上使用了5秒长、分辨率为2160*3840、每秒60帧的视频来测试BlazePose和VideoPose3D模型。VideoPose3D的视频处理总时间为8分钟，并且准确性良好。相反，BlazePose的处理速度达到了每秒3-4帧，这使得其可以用于实时应用。但下面的准确性结果并不符合任何HPE任务的目标。BlazePose和VideoPose3D处理结果处理时间取决于动作复杂度、视频和光照质量，以及2D姿态检测模块。鉴于BlazePose和VideoPose3D使用不同的2D检测器，这在两种情况下都成为性能瓶颈。一种可能优化HPE性能的方式是加快2D关键点检测。现有的2D检测器可以修改或通过后处理阶段增强，以提高整体准确性。实时3D人体姿态估计无论我们处理的是健身应用、康复应用、面部贴纸，还是监控，实时处理都是高度需要的。当然，模型的性能将取决于所选的算法和硬件，但大多数现有的开源模型提供相当长的响应时间。相反地，准确性会受到影响。因此，是否有可能改进现有的3D人体姿态估计模型，以实现实时处理下的可接受准确性？虽然像BlazePose这样的模型能够实现实时处理，但其跟踪的准确性并不适合商业用途或复杂任务。就我们的实验而言，我们使用Python语言测试了BlazePose的2D组件与修改后的3D-pose-baseline模型的结合。就速度而言，我们的模型在上述硬件上实现了约46 FPS，不进行视频渲染，而2D姿态检测模型则每秒可生成约50个关键点。相比之下，修改后的3D基线模型每秒可生成约780个关键点。关于我们方法所花费的处理时间的详细信息如下所示。BlazePose 2D + 3D-pose-baseline性能百分比尽管这种方法在复杂场景中（如光线昏暗或姿势异常）无法保证可靠性，但常规视频可以在实时处理中得到处理。但总体而言，模型预测的准确性将取决于训练和所选架构。理解人体姿态估计的真实能力，我们可以分析这一技术的一些常见商业应用和一般用例。人体姿态估计的用例HPE可以被认为是一项相当成熟的技术，因为在诸如健身、康复、增强现实、动画、游戏、机器人甚至监控等领域中已有应用基础。那么现在让我们来谈谈现有的用例。AI健身与自我指导健身应用和由AI驱动的教练是人体姿态估计最明显的用例之一。手机应用中实现的模型可以使用硬件相机作为传感器来记录某人进行锻炼并执行分析。通过跟踪人体运动，运动可以被分为离心和向心运动阶段，以分析不同角度的弯曲和整体姿势。这是通过跟踪关键点并提供以提示或图形分析形式呈现的分析实现的。这可以实时处理，也可以在稍有延迟后提供关于主要运动模式和身体力学的分析给用户。康复与物理治疗物理治疗行业是人体活动跟踪的另一个用例，其应用规则与健身应用类似。在远程医疗的时代，家庭咨询变得更加灵活和多样化。AI技术使得在线治疗方式更加复杂。康复活动的分析应用与健身应用相似，除了对准确性的要求更高。由于我们处理的是从受伤中恢复的情况，这个类别的应用将属于医疗保健领域。这意味着它必须符合医疗保健行业的标准和某些国家的通用数据保护法规。增强现实增强现实应用，如虚拟试衣间，可以通过人体姿态估计这一检测和识别人体在空间中位置的先进方法受益。这可以用于电子商务中，帮助顾客在线试穿衣服。例如，无收银员的商店系统如Amazon GO，应用人体姿态估计来理解顾客是否从货架上拿取商品。HPE与其它计算机视觉技术结合使用，使得Amazon可以通过摄像头传感器网络、物联网设备和HPE系统，在店内自动完成结账流程。HPE负责那些接触商品的区域在相机上无法直接看到的部分。在这里，HPE模型分析顾客手和头部的位置，以判断他们是否从货架上拿取了商品，还是放回了原位。如何训练一个人体姿态估计模型？人体姿态估计是一种机器学习技术，这意味着你需要数据来训练它。人体姿态估计完成检测和识别屏幕上多个对象的较为复杂的任务，通常使用神经网络作为其引擎。训练神经网络需要大量的数据，因此最优化的方式是使用可用的数据集，例如以下这些：HumanEva、Coco、MPI Human Pose、Human3.6M这些数据集中的大多数适用于健身和康复应用的人体姿态估计。但这并不能保证在更加不寻常的运动或特定任务如监控或多人体姿态估计中的高准确性。在其他情况下，数据的收集是不可避免的，因为神经网络需要高质量的样本来提供准确的对象检测和跟踪。在这里，经验丰富的大数据和机器学习团队可以起到帮助作用，因为他们可以提供数据收集的咨询，并处理模型的实际开发。分享 推文 邮件 人工智能 增强现实 健身 机器学习 --> 人工智能 增强现实 健身 机器学习