基于毫米波雷达和卷积神经网络的微动手势识别方法与制作流程

本技术属于人机交互技术领域，具体为基于毫米波雷达和卷积神经网络的微动手势识别方法。本技术的主要步骤包括：根据应用场景设计雷达参数和微动手势；利用毫米波雷达周期性地发射具有确定雷达参数的线性调频信号同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样得到数字中频信号；对数字中频信号进行处理，计算微动手势的特征参数；选取某一特征，建立多种手势的数据集；针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练得到分类模型；调用分类模型实现多种手势的分类识别。本技术实用性强，可用于智能家居、隔空输入、手语翻译、机械控制、VR、AR等领域，应用前景广阔。

权利要求书1.一种基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，具体步骤如下：

(1)根据应用场景设计雷达参数和微动手势；

(2)利用毫米波雷达发射具有确定雷达参数的线性调频信号同时接收人体手部反射的回波信

号，与发射信号进行差频后进行ADC采样得到数字中频信号；

(3)对数字中频信号进行处理，计算微动手势的特征参数；

(4)选取某一特征，建立多种手势的数据集；(5)针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练该卷积神经网络得到

分类模型；

(6)调用分类模型实现多种手势的分类识别；

步骤(1)中所述的雷达参数包括发射天线数NTx、接收天线数NRx、调频起始频率f1、调频斜率Ks、调频周期Tc、每帧调频周期数Nc、帧周期Tf、ADC采样周期Tadc、ADC采样率Fs，这些参数根据应用场景的最大测量距离dmax、最大测量速度vmax、距离分辨率dres与速度分辨率vres、帧率frate等作为指标来确定，公式为：

其中，c为光速，λ为调频中心频率对应波长，B为调频带宽，B由调频斜率Ks和ADC采样周期Tadc共同确定：

B＝Ks×Tadc (6)λ由调频起始频率f1和调频带宽B确定：

帧周期Tf需要满足：Tf≥Nc×Tc (8)对于采用时分复用(TDM)的多发多收(MIMO)方式，帧周期Tf满足：Tf≥NTx×Nc×Tc (9)所述的微动手势，其运动特征表现为手部整体基本不动或存在不明显的运动，主要为一根或几根手指发生运动。

2.根据权利要求1所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，步骤(2)中所述的利用毫米波雷达发射信号同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样，得到数字中频信号的流程是：利用某一频段的毫米波雷达经NTx个发射天线发射周期性的线性调频信号，调频起始频率为f1，调频斜率为Ks，调频周期为Tc，调频带宽为B，每帧调频周期数为Nc，帧周期为Tf，经NRx个接收天线接收人体手部反射回来的NTx×NRx个通道的回波信号，分别与发射信号进行差频后，进行ADC采样，得到NTx×NRx个通道的数字中频信号数据，ADC采样周期为Tadc、ADC采样率为Fs。

3.根据权利要求1或2所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，步骤(3)中所述的对数字中频信号进行处理，计算微动手势的特征参数过程，包含以下几个子步骤：

a.根据设置的雷达参数，将每一通道的数字中频信号数据分为多个帧周期，每个帧周期包含

Nc个调频周期的中频采样信号，每个调频周期包含Nadc个复数采样点，Nadc由ADC采样周

期Tadc和ADC采样率Fs共同确定：

Nadc＝Fs×Tadc (10)b.对任一通道、任一帧周期内的每个调频周期数据做快速傅里叶变换(FFT)，得到不同调频

周期的一维距离像；

c.根据应用场景确定的感兴趣距离范围对一维距离像进行距离像滤波，即截取感兴趣距离范

围内的Na_ROI个距离点，从而过滤感兴趣距离范围外的背景噪声；

d.根据感兴趣距离范围内存在运动手部和存在静止手部两种情况对应的距离多普勒振幅差

异，设定振幅阈值Q1，阈值略大于存在静止手部时距离多普勒振幅的最大值，当感兴趣距离范围内一维距离像中的最大振幅大于阈值Q1时，判定存在有效目标，根据最大振幅的位置可确定目标距离，否则判定不存在有效目标；目标距离对应的各通道振幅、相位和通道间相位差随调频周期Tc的变化均可作为微动手势的特征；

e.对任一通道、任一帧周期内的Nc个调频周期的感兴趣距离范围内的每一距离点，其对应的

复振幅数据做FFT，得到每一距离对应的速度或多普勒频移分布，进而根据应用场景选取感兴趣速度范围的Nc_ROI个速度点，得到尺寸为Na_ROI×Nc_ROI的二维距离多普勒分布，对所有通道的距离多普勒分布进行非相干叠加平均，得到感兴趣区域内多通道平均的二维距离多普勒分布，作为手势的距离多普勒谱参数；

f.对通道平均的二维距离多普勒分布进行单元平均恒虚警检测(CA-CFAR)，得到单个目标

点，作为估计手势的关键点，根据目标点位置得到目标距离和目标速度，其中目标距离对应的多普勒分布作为手势的多普勒谱参数；目标速度对应的距离分布作为手势的距离谱参数；

g.目标点位置对应Ntx×Nrx个通道的复振幅数据，根据Ntx个发射天线和Nrx个接收天线的位

置计算Ntx×Nrx个通道的等效相位中心位置，若水平或垂直方向存在大于一个的等效相位中心，则利用两个等效相位中心对应的两个通道数据之间的相位差来估计目标相对于雷达天线阵列平面的方位角或仰角，其中相位差与到达角θ和两个通道的等效相位中心之间距离Δd的关系是：

从而可求得方位角或仰角为：4.根据权利要求3所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，步骤(4)中所述的选取某一特征，建立多种手势的数据集，是通过设置长度为Nf帧的固定滑动帧窗，距离多普勒谱、距离、速度、距离谱、多普勒谱、方位角和仰角参数在滑动帧窗内的变化作为最终的手势特征，通过检测手势的开始与结束帧，在滑动帧窗内捕捉完整的手势并保存手势特征，针对任一手势特征，每一微动手势重复多次，保存多组手势特征数据，从而建立Nclass类手势的特征数据集，用于后续手势分类模型的训练。5.根据权利要求4所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，步骤(5)中所述的针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练得到分类模型，是根据雷达特征图像的尺寸、单个颜色通道、特征区域分布特点，搭建轻量化的卷积神经网络，将任一特征的手势数据集输入设计的卷积神经网络中，进行参数调优，得到最佳的训练过程和结果，在最优参数下，训练得到分类模型并保存。

6.根据权利要求5所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，步骤(5)中设计的卷积神经网络结构为：有3个卷积层，每一卷积层后分别连接1个RELU激活函数层、1个批标准化层和1个池化层；3个卷积层后接2个全连接层，第1个全连接层连接1个dropout层，第2个全连接层连接第4个RELU激活函数层；最后是softmax层，用于输出分类结果和相似度分布数组。

7.根据权利要求6所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，步骤(6)中所述的调用分类模型实现多种手势的分类识别，是在完成手部雷达回波的数据处理，得到固定长度滑动帧窗内的手势特征后，调用训练好的分类模型，得到该动作特征与训练集中各类手势特征的相似度，若与某类手势特征的相似度大于设定的相似度阈值Q2，判定为该类手势，否则判定为无效动作，相似度阈值可通过调用分类模型对全部数据

集进行测试后确定。

8.根据权利要求3或7所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在

于，所采用数字中频信号处理和调用分类模型进行手势识别的装置为计算机、平板电脑、智能手机、智能手表、智能家电等任何具有一定数字信号处理能力的设备。

技术说明书基于毫米波雷达和卷积神经网络的微动手势识别方法技术领域本技术属于人机交互技术领域，具体涉及一种基于毫米波雷达和卷积神经网络的微动手势识别方法。

背景技术随着物联网和智能化设备的快速发展，人机交互的方式在不断变革，从早期的按键方式发展到现在的触屏方式、语音交互方式和非接触式动作交互方式。手势识别作为非接触式人机交互方式的一种，在智能家居、隔空输入、手语翻译、机械控制、VR、AR等领域均具有非常重要的应用价值。然而，现有的手势识别方法存在一些主要问题：基于可见光、红外等图像信息的手势识别方法功耗高、计算开销大、提取特征的效率低、图像处理模型能力有限、易受光照和遮挡等因素影响，且有泄露隐私的风险；基于超声波的手势识别方法波束角小、分辨率低、易受干涉和背景环境影响、信号处理难度大、计算成本高、产品规格差异大；基于Wi-Fi和雷达的手势识别方法分辨率低、信息量少。现有的手势识别方法基本不具备识别运

动幅度在几厘米以内的微动手势的能力。

毫米波的传播速度快、波长短、分辨率高，具有穿透一定厚度的非金属遮挡物的能力，光照、烟雾、雨雪和温度变化对其基本没有影响，多通道毫米波雷达同时具有测距、测速和测角的能力，能够获得三维的目标信息，且无需获取图像和音频信息，不存在隐私泄露的问题。

基于大数据和人工神经网络的深度学习方法在自然语言处理、计算机视觉、图像与视频处理等诸多领域均已取得了巨大成功。深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非通过手工设计特征，因而更具效率，表达能力更强。

技术内容本技术的目的在于提供一种准确率高、鲁棒性和实时性好的基于毫米波雷达和卷积神经网络的微动手势识别方法。