人体背部动态识别与跟踪方法

刘晓瑾，孟巧玲，李 平，喻洪流

（1 上海理工大学 康复工程与技术研究所，上海 200093；
2 上海康复器械工程技术研究中心，上海 200093）

在社会老龄化愈加严重的情况下，助老助残的产品受到社会各界的广泛关注。近年来开发了各种类型的康复辅助机器人，如洗浴机器人［1］、艾灸机器人［2］、按摩机器人［3］等。这一系列辅助机器人需要利用机械臂模仿人手对受用者的背部进行作业工作。人体背部的识别对此系列机器人的视觉系统至关重要。

目前，常见人体动态识别与跟踪的研究主要集中在人体姿势识别［4-5］、手势动态识别［6-7］，以及脸部识别［8-9］。现有的研究中，对背部区域大部分都是静态识别。Hongli Chen 等人［10］通过在人体背部设置大量人工标记识别背部，这种方法虽然简单迅速，但是适用场景有限。例如在洗浴场景中存在无法清洗粘贴标记的区域。K.C.Jones 等人［11］设计的按摩机器人是直接输入用户的肩点和腰点的坐标，但其无法适应不同体型用户的个体差异，并且当用户在按摩过程中运动，先前输入的坐标并无法与用户身体部位对应。Chia-Yu Wu 等人［12］通过Canny边沿检测器来提取皮肤片段的边缘轮廓，但该方法只适用于双手向上举的姿势，在用户坐姿双手自然垂下或叉腰等情况下，无法准确地提取背部区域。然而，机械臂在人体背部工作时，人体因呼吸或其他因素调整坐姿状态，身体会随之变动，机械臂末端轨迹也应随之变动，这给在人体背部工作的机械臂控制带来挑战。

本文针对人体背部发生位姿变换的情况，提出了一种基于背部几何特征的方法，识别出没有任何标记且无明显纹理特征下不同姿势的背部区域，并采用一种融合空间运动变换矩阵及点云粗-精配准算法，实现动态背部区域的跟踪。同时，分别在身体弓背、身体倾斜、身体扭转和手臂摆动情况下，对背部区域进行了识别跟踪实验，并与其他配准方法对比效果和运行时间。

人体背部确定，先利用场景点云进行预处理获得人体点云，再通过人体背部几何特征进行识别，其流程如图1 所示。

图1 人体背部确定Fig.1 Human back determination

1.1 点云预处理

由双目相机采集的无RGB 信息场景点云，包含墙面、地面等大量的冗杂信息，为了提高算法后续步骤的工作效率，需对点云进行预处理。预处理分为直通滤波、统计滤波和背景去除3 个部分，最后获得人体点云。

首先，通过直通滤波去除大量的墙面及周边无关场景的点云。在研究中对相机采集的场景点云P1＝｛pi ｜pi∈R3，i ＝1，2，…，n｝设置X方向和Z方向阈值（x1，x2）和（z1，z2），将人体前后和左右的场景点云去除。因为Y方向是人体站立的方向，每个人的身高不同，且人体上方并无多余的场景点云，所以无需对Y轴进行处理。通过直通滤波后，获得包含人体区域和座椅凳子区域的点云P2：

由于相机的内部干扰以及自身精度问题，拍摄的点云中存在离群噪声，所以需对点云进行统计滤波处理，以减少离群点云对后续工作的影响。统计滤波通过计算点与近邻点的距离di，以及所有点的距离均值μ和标准差σ，通过去除近邻距离均值大于α倍的标准差的离群点，得到点云P3＝｛pi∈P2｜μ -α·σ≤di≤μ+α·σ｝。

最后，将座椅点云作为背景点云与点云P3进行比对，通过背景去除法删去两帧点云重叠部分，得到单独的人体点云P4。

1.2 背部分割

预处理后的点云，还存在头颈部和手臂区域，需进一步处理，来获得人体背部。本文提出一种基于几何特征的方法分割人体背部。其主要步骤如下：

（1）遍历人体点云P4所有点，寻找y方向最小值yhip；

（2）参考正常成年人躯干长度尺寸，在yhip正方向上50～70 cm 范围区域，在y方向上微元分割（如图2），并计算分割后每一段长度wi；

图2 微元法分割Fig.2 Micro dimensional segmentation

（3）利用颈部宽度和肩部宽度的差值进行处理：若满足wi ＞wi-1+0.1，则wi所对应的y坐标ysh视为肩线，此时将ysh上方区域的点去除；

（4）利用人体背部的厚度，将手臂区域去除。

本文通过人体运动前后相邻两帧点云进行配准，获知背部位姿变换矩阵，解决人体在机械臂工作过程中不自主随机运动问题。常见配准方法包括：随机采样一致性算法（RANSAC）［13］、四点共面算法（4PCS）［14］、主成分分析法（PCA）［15］等。

本文提出的背部跟踪方法，首先通过体素滤波下采样减少点云数量，再提取关键点，然后由粗配准计算两帧点云近似旋转平移矩阵，最后由精配准进一步迭代精确的旋转平移矩阵。其实现过程如图3所示。

图3 配准流程Fig.3 Registration flow

2.1 体素滤波

为了减少点云数据，缩短配准时间，提高机械臂人体交互效率。选择体素栅格下采样方法对人体背部点云进行滤波处理，其将背部点云划分为若干个微小的体素栅格，用体素栅格内的重心点来替代体素内的点。将每个体素栅格边长设为LeafSize，体素内的重心坐标计算公式如式（1）：

其中，Xc、Yc、Zc表示体素内重心的坐标；
xi、yi、zi分别代表体素栅格内每一点的坐标值；
m表示体素栅格内点云的数量。

本文选择边长LeafSize ＝0.01 和LeafSize ＝0.02两种不同体素栅格大小，分别对人体背部点云数量简化，并将两种情况进行对比。以倾斜前的背部点云为例，其中初始点云数量为3 259，通过体素栅格滤波之后，点数量分别达到2 121 和647。若边长LeafSize过大，点云数量减少过多，易失去点云特征，最终选择体素栅格为LeafSize ＝0.01 对人体背部点云进行滤波处理。

2.2 提取关键点

内部形状描述子（ISS）［16］与传统的SIFT［17］、Harris［18］等关键点相比，不仅包含丰富的几何特征信息，同时计算速度快、重复性高，适用于简化人体背部点云。ISS 提取过程如下：

（1）用人体背部体素滤波后的点云中每一点pi，建立一个局部坐标系，构建半径为r的区域。通过该区域内所有点与点pi的距离，计算出这些点的权重wij，其表达式为

（2）计算r邻域内所有点与点pi之间的协方差矩阵cov（pi）：

其中，δ1和δ2为参数阈值，取值范围为0～1。

综合考虑到关键点数量和分布，提取出体素滤波处理后点云的关键点，参数设置为：半径r为点云分辨率的3 倍，δ1和δ2均设置为0.975。

2.3 SAC-IA 配准算法

粗配准利用体素滤波提取出的关键点进行配准，其中源点云为运动前的点云，目标点云为人体运动之后的点云。粗配准先计算两帧点云提取出来的关键点的快速点特征直方图（FPFH），再使用采样一致性（SAC-IA）配准，获得运动前后的两帧背部点云初始的变换矩阵。粗配准流程如下：

（1）计算出两帧点云FPFH 描述子，FPFH 描述子是对点特征直方图描述子（PFH）的改进，在PFH描述子基础上减少了时间复杂度，并且提高了运行效率，其表达式为

其中，pk表示其为查询点pq的一个临近点；
SPFH（pq）和SPFH（pk）分别表示pq和pk两点的〈α，φ，θ〉；
k表示人体背部点云每个点pq的邻域数量；
wk表示pq和pk两点之间的距离权重。

（2）随机选择n个最小距离大于dm的点，在目标点云中查询与源点云中采样点具有相似的FPFH特征点作为对应点。

（3）计算运动前后对应点对之间的变换矩阵，并计算变换性能，确定误差最小的变换，其计算公式如式（6）：

其中，te为给定的预值，ei为第i组对应点变换之后的对应之间的误差。最后返回最小误差H（ei）对应的变换矩阵（Rb，tb）。

2.4 ICP 配准算法

经过粗配准，将两帧点云匹配得到一个近似的变换矩阵。考虑到粗配准精度较低，误差较大。因此，本文再通过精配准进一步提高配准精度，对这两组点云进行迭代最近点（ICP）配准。

ICP 算法原理是在初始点云中将每一点进行初始变换，在另一帧点云与初始变换后的点云中最近的点形成点对，再求解变换矩阵（R，t），计算误差函数E（R，t），计算公式如式（7）：

其中，n为邻域点个数；
pai表示目标点云中的一点；
pbi表示与源点云与pai对应的点；
R表示旋转矩阵；
t表示平移向量。

配准过程中根据两帧点云不断迭代变换，使得误差函数E（R，t）最小，获得最终的配准结果。

2.5 跟踪算法

在完成机械臂跟随人体发生相应变换的任务中，运动前的背部点云S0＝｛si ｜si∈R3，i ＝1，2，…，j｝ 中任意一点si，通过配准变换矩阵（R，t）。其中，R为3×3 矩阵表示旋转变换，t为3×1 矩阵表示平移变换，将变换矩阵表示为式（8）的形式，可以得出运动后点si对应的位置si＇，如式（9）：

为了验证本文算法在人体背部的动态识别与跟踪的有效性，通过Intel RealSense D455 相机采集人体由坐直到倾斜、扭动、背部弯曲，以及手臂随意摆动4 种不同运动姿势连贯动作下的点云，进行背部提取实验，以及运动前后背部点云进行配准实验，以此验证本文算法的有效性。

算法运行环境为：Windows 10 操作系统和Intel（R）Core（TM）i5-10500 CPU 处理器，在Visual studio 2017 下结合PCL1.8.1 库运行。在离线情况下对点云数据进行处理。为了避免引发伦理问题，同时考虑到保护用户隐私问题，所采集的点云数据是仅有深度信息并没有RGB 信息。所采集的相邻两帧点云的时间间隔短，忽略人体运动前后的形变。5 种不同姿势下的RGB 照片如图4 所示。

图4 人体运动过程的5 种姿势Fig.4 The five postures of the human movement process

3.1 背部识别实验

采用基于人体背部几何特征识别背部的方法，在身体坐直、身体弓背、身体倾斜、身体扭动和手臂摆动5 种姿势下，识别人体背部区域。处理结果如图5 所示，其中黑色点云是预处理获得的人体点云，蓝色区域为识别的背部区域。

图5 识别人体背部区域Fig.5 Identify the dorsal area of the human body

从图中可以看出，根据几何人体特征可以有效的分割出背部区域，解决了在无RGB 信息、且无标记和无明显纹理特征情况下，以及在头颈和手臂干扰下，识别出人体背部区域的问题。尽管采集的点云存在空洞、伪影等缺陷，但使用本文方法能够有效的识别出背部区域。

3.2 背部跟踪实验

为了验证跟踪效果，将身体倾斜、身体扭动、背部弯曲、手臂摆动4 种运动姿势，分别用本文方法与另外两种方法配准，从配准效果和运行时间进行对比。其中，算法一为3Dcs 粗配准与ICP 精配准结合，经过相同参数下体素滤波处理和提取关键点处理，以及精配准的迭代次数一致；
算法二为经过相同参数下体素滤波处理，再进行相同参数下的粗-精配准处理。

实验1配准效果比较实验

将4 种不同姿势人体背部点云在3 种方法配准下进行实验，配准效果如图6 所示。其中，绿色点云为运动前的点云，红色点云为运动后的点云，蓝色点云为配准所得到的点云。从配准效果可以看出，手动姿势变化中，背部区域运动范围小，3 种配准结果在视觉上基本重合，配准精度高；
其他3 种姿势在不同配准效果中，均存在不同程度的误差。其中算法一配准精度上偏差最大，本文方法和算法二配准精度较高、鲁棒性较好。

图6 点云配准效果Fig.6 Point cloud registration effect

实验2运行时间对比实验

针对算法运行速率对比，将4 种不同姿势变化的点云在这3 种算法下运行，结果见表1。

表1 运行时间分析Tab.1 Running time analysis s

4 种姿势的变换运用同一种配准算法的运行时间差别并不明显。其中，手动姿势变换的背部区域变化较小，在不同配准方法下的运行时间均最短。4种姿势变换平均运行时间相比较，算法一平均时间为4.211 s，算法二配准平均时间为38.391 s，本文方法配准平均时间为1.424 s。

实验3配准均方根误差分析

采用运行时间和均方根误差（RMSE）来评估配准精度，RMSE计算公式如式（10）：

其中，n表示点云的数量，Xi和分别表示配准后对应点之间的欧式距离和对应点之间的欧式距离的真值。分别计算X、Y和Z3 个方向的均方根误差来评估配准方法。

均方根误差分析结果见表2。可以看出，配准均方根误差在X方向和Y方向上较小，由于人体在Z方向运动幅度大，且相机采集的点云精度较低，导致Z方向上均方根误差较大，4 种姿势变换的平均均方根误差为0.651 cm。当机械臂执行任务时，较小的误差在一定程度上提高了用户的舒适度。

表2 点云配准均方根误差分析Tab.2 Root mean square error analysis of point cloud registration cm

综合考虑时间和配准效果等因素，本文方法运行效果比算法一偏差小，运行时间比算法一耗时减少了66.18%，运行时间比算法二耗时减少了96.29%。结合配准的均方根误差，本文所提出的方法适合用于机械臂在人体背部表面工作。

本文提出了一种背部识别动态跟踪方法。该方法分成两个部分，第一部分基于无RGB 信息点云，通过预处理识别出人体，根据人体部位几何特征识别出背部区域。第二部分通过提取背部关键点，对人体运动前后背部点云粗-精配准，获得变换矩阵，实现背部动态跟踪。实验结果表明，本文背部识别方法可以准确的分割出人体在不同姿势下的背部区域，背部跟踪方法在身体弓背、倾斜、扭动，以及手动4 种不同运动姿势进行实验验证，本文方法运行时间与其他两种算法相比明显减少，X、Y和Z方向的平均均方根误差分别为0.264 cm、0.261 cm 和0.517 cm。满足机械臂在人体背部工作中的条件。与其他算法相比，本文算法的背部识别速度和准确度得到提高，也为其他器官的跟踪与识别提供参考。下一步研究将侧重于机械臂在人体背部的路径动态规划，使得机械臂末端轨迹按照预定轨迹在人体对应部位工作。

猜你喜欢体素方根姿势方根拓展探究中学生数理化·七年级数学人教版(2023年3期)2023-03-21基于多级细分的彩色模型表面体素化算法计算机集成制造系统(2022年11期)2022-12-05瘦体素决定肥瘦家庭医学(2022年3期)2022-04-07倒挂在树上，我的主要姿势文苑(2020年5期)2020-06-16看书的姿势小学生学习指导(低年级)(2020年3期)2020-06-02运用边界状态约束的表面体素加密细分算法计算机集成制造系统(2020年4期)2020-05-08基于体素格尺度不变特征变换的快速点云配准方法中国惯性技术学报(2019年1期)2019-05-21解锁咳嗽的正确姿势中国生殖健康(2019年10期)2019-01-07均方根嵌入式容积粒子PHD 多目标跟踪方法自动化学报(2017年2期)2017-04-04揭开心算方根之谜中学生数理化·七年级数学人教版(2016年2期)2016-05-30

推荐访问:背部 跟踪 识别