首页,万达娱乐,首页导航：X技术最新专利医药医疗技术的改进;医疗器械制造及应用技术

　　1.本发明涉及一种手部康复设备。特别是涉及一种基于人工智能技术的手部全指康复训练及评估系统。

　　2.调查显示，脑卒中已成为我国成年人残疾的首要原因。脑卒中具有发病率高、致残率高的特点，我国脑卒中患者基数大、治疗周期较长、恢复效果较差。脑卒中会导致患者部分脑区受损，进而失去部分肢体的控制能力。双手作为人体的重要器官，对于完成日常活动有着极为重要的作用。因此恢复脑卒中患者的手部功能至关重要。此外，对于接受过手部手术的患者，也需要进行康复训练来恢复手部功能。现有研究表明，相比于传统的被动康复模式，主动康复要求患者主动配合康复过程，可以提供更好的康复效果。主动康复的要点在于恢复脑部意识与手部动作的自然同步，因此需要结合人脑的意识信号来配合手部的康复动作。脑电图(eeg)是大脑皮层脑神经细胞活动的总体反映，其中包含了大量的生理和病理信息，体现了人脑的活动状态和思维情况。因此，结合脑电信号检测技术的主动康复模式可以及时识别患者的康复动作意识，驱动康复设备协助患者完成动作，加快康复速度。

　　3.近年来，便携式脑电采集设备得到了越来越多的关注。相比于传统的脑电采集设备，便携式脑电采集设备具有较小的体积与质量，在不降低采集信号质量的前提下，便携性、易用性得到了大幅提高，成本、功耗也进一步降低。在患者需要进行居家治疗的情况下，便携式脑电采集设备可为患者提供居家脑电监控的条件。

　　4.脑电信号数据具有非线性、特征复杂、信噪比低的特点，传统的人工检视方法需要有经验的专家专门检视脑电图，而传统的机器学习算法需要人工提取脑电图特征进行分析，上述方法都需要人工操作检验，不利于长时间的监测，并且会受到主观因素的影响而遗漏掉脑电信号的重要特征。作为机器学习的最先进理论，深度学习(deep learning)在处理大数据信息上有着很强的优越性，已经在脑电信号的研究中获得了广泛的应用。深度学习是一种端到端的学习方法，能够从输入信号中直接提取并学习更深层次的内在表征并进行分类。到目前为止，已有许多深度学习的体系结构被提出并应用于脑电分析、康复训练等领域。

　　5.本发明所要解决的技术问题是，为克服现有技术的不足，提供一种能够对手指部位运动想象脑电信号进行有效辨识和正确分类，促进手指运动机能康复的基于人工智能技术的手部全指康复训练及评估系统。

　　6.本发明所采用的技术方案是：一种基于人工智能技术的手部全指康复训练及评估系统，包括有依次连接的：便携式脑电采集设备、人机交互界面、脑电智能解码模块和智能康复手设备，系统包括康复训练模式和康复效果评估模式两种工作模式；

　　7.在康复训练模式下，使用者通过所述的人机交互界面进行康复动作选择，并根据

　　屏幕提示进行相应动作的运动想象；所述的便携式脑电采集设备从使用者大脑采集eeg脑电信号；所述的脑电智能解码模块通过深度学习技术对采集到的eeg脑电信号进行解码，判断使用者是否进行了相应动作的运动想象，并将判断结果发送至智能康复手设备；所述的智能康复手设备以脑电智能解码模块的判断结果为基础，通过气泵驱动相应手指关节的运动，完成对应的康复动作；

　　8.在康复效果评估模式下，使用者首先通过所述的人机交互界面进行康复动作选择，随后做出对应于所选的手指动作；智能康复手设备将所述手指动作的信号通过无线发送至人机交互界面，进行康复效果评估。

　　9.所述的康复训练模式和康复效果评估模式均支持12种手指动作，分别为：弯曲大拇指、弯曲食指、弯曲中指、弯曲无名指、弯曲小拇指、弯曲大拇指+食指、弯曲大拇指+中指、弯曲大拇指+无名指、弯曲大拇指+小拇指、弯曲全指、伸展全指。

　　10.所述的便携式脑电采集设备包括有：依次连接的用于采集eeg脑电信号的脑电极帽及连接线、用于脑电信号放大和转换的生理电信号采集-转换模块、用于控制生理电信号采集-转换模块的集成式wi-fi模块，以及分别连接生理电信号采集-转换模块和集成式wi-fi模块的电源电路，其中，所述的脑电极帽及连接线中的脑电极帽通过电极与使用者头皮直接接触，并采集头皮表面的eeg脑电信号，通过连接线及脑电极帽及连接线接口与生理电信号采集-转换模块相连接，用于传输eeg脑电信号；集成式wi-fi模块负责读取来自于生理电信号采集-转换模块的数据，并发送至脑电智能解码模块。

　　11.所述的脑电极帽及其连接线通过电极获取使用者对应于脑电极帽的fp1,fp2,f3,fz,f4,fcz,t3,c3,cz,c4,t4,p3,pz,p4,oz,a1共十六个电极的eeg脑电信号；脑电极帽的电极分布符合10/20国际标准导联。

　　12.所述的电源电路采用4.2v可充电式锂电池供电，通过开关来控制充电模式和工作模式：当开关关闭时，电源电路进入充电模式，使用者使用usb线v供电接口进行充电；在充电模式下，电源电路采用集成变压器模块，对电路板与外部电源进行电气隔离，防止过压造成电路损坏；当开关打开时，电源电路进入工作模式，充电模式被禁用；在工作模式下，电源电路采用数片不同输出电压的低噪声线性稳压器，满足电路板上不同器件的供电需求。

　　13.所述的人机交互界面包括有：触控显示屏、wi-fi模块、蓝牙模块和语音提示模块，以及分别连接触控显示屏、wi-fi模块、蓝牙模块和语音提示模块的mcu处理器，mcu处理器采用嵌入式操作系统的工作方式，完成触控显示屏的驱动、wi-fi模块的数据收发、蓝牙模块的数据收发、通过语音提示模块播放语音提示；使用者通过触控显示屏进行动作选择、参数设置，并根据触控显示屏的图片提示进行康复训练或康复效果评估；所述的mcu处理器通过wi-fi模块与脑电智能解码模块进行数据通信，通过蓝牙模块读取智能康复手设备的传感器信息，并将动作选择、参数设置信息传送至智能康复手设备。

　　14.所述的脑电智能解码模块采用深度学习方法对eeg脑电信号进行分析处理，具体需要以下步骤：

　　15.1)对eeg脑电信号进行预处理，包括滤波降噪、数据增强两个阶段；

　　16.在滤波降噪阶段，首先采用notch滤波器对50hz工频干扰进行陷波滤波，随后采用butterworth带通滤波器组对陷波滤波后的eeg脑电信号进行滤波处理，将eeg脑电信号分

　　为θ(4-7hz)、α(8-12hz)、β(13-30hz)、γ(31-50hz)共4个频段，得到预处理后的eeg脑电信号其中c代表频段，l代表数据长度，g代表通道数；

　　17.在数据增强阶段，对4个频段的预处理后的eeg脑电信号分别通过长度为l的滑动窗口进行数据切分，滑动窗口的滑动步长为b，且滑动窗口之间互不重叠；第j个滑动窗口数据表示为其中表示第c个频段第g个通道中的第p个数据点，表示第j个滑动窗口形成的一个样本；为每一个样本设定标签，标签为在第j个滑动窗口时间内，使用者是否进行了对应动作的运动想象；

　　18.2)搭建基于注意力机制的深度卷积神经网络模型，将所有样本以及对应的标签输入基于注意力机制的深度卷积神经网络模型，对基于注意力机制的深度卷积神经网络模型进行全监督训练：首先利用所有使用者的样本训练得到预训练模型，随后基于预训练模型，使用每个使用者的样本进行精调，得到匹配于每个使用者的精调模型。

　　19.所述的基于注意力机制的深度卷积神经网络模型，包括4个分支，每个分支均包括有依次串接的：

　　20.(2.1)一个数据输入层，输入数据为使用者对应于θ或α或β或γ频段的预处理后的eeg脑电信号

　　23.(2.4)一个第一串联层，将第一卷积层的输出与第二卷积层的输出按照最后一个维度进行串联拼接；

　　28.(2.9)一个第一dropout层，dropout概率为0.5；

　　30.(2.11)一个第二批量归一化层，用于加速模型训练，减轻过拟合；

　　33.(2.14)一个第二dropout层，dropout概率为0.5；

　　35.(2.15.1)一个reshape层，将第二dropout层的输出尺寸转换为8

　　36.(2.15.2)一个第一全连接层，神经元个数为64，激活函数为tanh；

　　37.(2.15.3)一个第一重新排列层，将输出的第1维度与第2维度进行交换；

　　38.(2.15.3)一个第二全连接层，神经元个数为1，激活函数为softmax；

　　39.(2.15.4)一个第二重新排列层，将输出的第1维度与第2维度进行交换；

　　40.(2.15.5)一个乘法层，将第二dropout的输出与第二重新排列层的元素进行逐元素相乘；

　　41.(2.15.6)一个自定义加法层，将乘法层的输出在第2维度进行相加；

　　42.(2.15.7)一个展平层，将自定义加法层的输出展开成一维序列；

　　43.将4个分支的展平层输出使用第二串联层进行拼接，将第二串联层的输出连接至第三全连接层；第三全连接层使用softmax作为激活函数，神经元个数为2，输出为指定动作的判断结果。

　　44.所述的智能康复手设备包括气动手套，安装在气动手套手背处的控制模块，分别与所述的控制模块通过导线相连的安装在气动手套每个手指背侧的弯曲度传感器、安装在气动手套每个手指前端的压力传感器，分别与所述的气动手套的每个手指通过气路相连的气泵；所述的气动手套使用气泵驱动手指独立弯曲或伸展，材质为软体弹性手套，便于使用者佩戴，提高舒适度；所述的弯曲度传感器根据当前手指弯曲角度输出不同的电压值，所述的压力传感器根据当前手指用力程度输出不同的电压值；所述的控制模块是由集成式蓝牙模块构成，集成式蓝牙模块通过多路复用开关轮询读取各个弯曲度传感器和压力传感器输出的电压值，并发送至人机交互界面中的mcu处理器；同时，控制模块接收来自于人机交互界面中mcu处理器发送的动作选择、参数设置信息，并解码为抽气/打气控制信号、气路选择信号、速度控制信号。

　　45.所述的气泵接收来自控制模块的抽气/打气控制信号、气路选择信号、速度控制信号，通过气路控制气动手套的每个手指的动作。

　　46.使用者在使用前进行系统模式选择，即选择康复训练模式或康复效果评估模式；其中，

　　48.(1.1)使用者对需要进行康复训练的动作进行选择，并设置训练参数；

　　50.(1.3)脑电智能解码模块对使用者的eeg脑电信号进行解码，判断是否进行了相应动作的运动想象，并将结果通过wi-fi传送至人机交互界面(2)中的mcu处理器(25)；

　　51.(1.4)mcu处理器根据分类结果，决定是否驱动对应手指的气泵，进而带动相应手指运动；

　　53.(2.1)使用者对需要进行康复效果评估的动作进行选择，并设置评估参数；

　　55.(2.3)智能康复手设备中的控制模块读取对应手指的弯曲度传感器及压力传感器的实时数值，并发送至人机交互界面中的mcu处理器；

　　57.本发明的一种基于人工智能技术的手部全指康复训练及评估系统，能够实现对eeg脑电信号的准确获取、有效辨识和正确分类，通过识别使用者的动作意图，驱动智能康复手设备做出相应动作，协助使用者完成手部全指康复训练。同时，使用者可以借助本发明进行手部康复效果评估，形成康复训练闭环，更高效地促进康复训练。

　　58.图1是本发明的一种基于人工智能技术的手部全指康复训练及评估系统构成框图；

　　69.下面结合实施例和附图对本发明的一种基于人工智能技术的手部全指康复训练及评估系统做出详细说明。

　　70.如图1所示，本发明的一种基于人工智能技术的手部全指康复训练及评估系统，包括有依次连接的：便携式脑电采集设备1、人机交互界面2、脑电智能解码模块3和智能康复手设备4，系统包括康复训练模式和康复效果评估模式两种工作模式；

　　71.在康复训练模式下，使用者通过所述的人机交互界面2进行康复动作选择，并根据屏幕提示进行相应动作的运动想象；所述的便携式脑电采集设备1从使用者大脑采集eeg脑电信号；所述的脑电智能解码模块3通过深度学习技术对采集到的eeg脑电信号进行解码，判断使用者是否进行了相应动作的运动想象，并将判断结果发送至智能康复手设备4；所述的智能康复手设备4以脑电智能解码模块3的判断结果为基础，通过气泵驱动相应手指关节的运动，完成对应的康复动作；

　　72.如图2所示，在康复效果评估模式下，使用者首先通过所述的人机交互界面2进行康复动作选择，随后做出对应于所选的手指动作；智能康复手设备4将所述手指动作的信号通过无线根据传感器信号数据，进行康复效果评估。

　　73.如图5所示，所述的康复训练模式和康复效果评估模式均支持12种手指动作，分别为：弯曲大拇指、弯曲食指、弯曲中指、弯曲无名指、弯曲小拇指、弯曲大拇指+食指、弯曲大拇指+中指、弯曲大拇指+无名指、弯曲大拇指+小拇指、弯曲全指、伸展全指。

　　74.如图3所示，所述的便携式脑电采集设备1包括有：依次连接的用于采集eeg脑电信号的脑电极帽及连接线、用于脑电信号放大和转换的生理电信号采集-转换模块12、用于控制生理电信号采集-转换模块12的集成式wi-fi模块13，以及分别连接生理电信号采集-转换模块12和集成式wi-fi模块13的电源电路14，其中，所述的脑电极帽及连接线中的脑电极帽通过电极与使用者头皮直接接触，并采集头皮表面的eeg脑电信号，通过连接线及脑电极帽及连接线接口与生理电信号采集-转换模块12相连接，用于传输eeg脑电信

　　号；集成式wi-fi模块13负责读取来自于生理电信号采集-转换模块12的数据，并发送至脑电智能解码模块3。

　　75.所述的脑电极帽及其连接线通过电极获取使用者对应于脑电极帽的fp1,fp2,f3,fz,f4,fcz,t3,c3,cz,c4,t4,p3,pz,p4,oz,a1共十六个电极的eeg脑电信号；脑电极帽的电极分布符合10/20国际标准导联。

　　76.所述的生理电信号采集-转换模块12由数片具有高共模抑制比的用于接收脑电帽采集的eeg脑电信号的模拟输入模块、用于eeg脑电信号放大的低噪声可编程增益放大器pga和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器adc的生物电信号采集芯片组成。

　　77.所述的集成式wi-fi模块13采用型号为esp-12f的模块，具备ieee 802.11b/g/n射频无线通信功能，兼具iic、uart、spi、adc、gpio常用接口，用于调节生理电信号采集-转换模块12的pga放大倍数及adc采样速率，并通过spi接口读取生理电信号采集-转换模块12采集到的eeg脑电信号。集成式wi-fi模块13工作在ap模式，与脑电智能解码模块3建立无线连接，并传输eeg脑电信号。

　　78.所述的电源电路14采用4.2v可充电式锂电池供电，通过开关来控制充电模式和工作模式：当开关关闭时，电源电路进入充电模式，使用者使用usb线v供电接口进行充电；在充电模式下，电源电路采用集成变压器模块，对电路板与外部电源进行电气隔离，防止过压造成电路损坏；当开关打开时，电源电路进入工作模式，充电模式被禁用；在工作模式下，电源电路采用数片不同输出电压的低噪声线性稳压器，满足电路板上不同器件的供电需求。

　　79.如图4所示，所述的人机交互界面2包括有：触控显示屏21、wi-fi模块22、蓝牙模块23和语音提示模块24，以及分别连接触控显示屏21、wi-fi模块22、蓝牙模块23和语音提示模块24的mcu处理器25，所述mcu处理器25用于控制触控显示屏21、wi-fi模块22、蓝牙模块23和语音提示模块24工作；mcu处理器25采用嵌入式操作系统的工作方式，完成触控显示屏21的驱动、wi-fi模块22的数据收发、蓝牙模块23的数据收发、通过语音提示模块24播放语音提示；使用者通过触控显示屏21进行动作选择、参数设置，并根据触控显示屏21的图片提示进行康复训练或康复效果评估；所述的mcu处理器25通过wi-fi模块22与脑电智能解码模块3进行数据通信，通过蓝牙模块23读取智能康复手设备4的传感器信息，并将动作选择、参数设置信息传送至智能康复手设备4。

　　80.在康复训练模式下，用户首先通过人机交互界面2的触控显示屏21选择需要进行训练的动作，将该动作添加到训练队列。训练队列用于存放本次康复用户需要的动作组合，最高支持存放10个动作。随后，用户通过触控显示屏21输入该动作需要训练的次数，默认每个动作重复训练10次，最高支持每个动作重复训练30次。开始训练后，触控显示屏21显示当前训练动作的图片，用户根据图片进行相应动作的运动想象，便携式脑电采集设备1实时采集用户的eeg脑电信号，脑电智能解码模块3对eeg脑电信号进行分析处理，判断用户是否进行了相应动作的运动想象，将分类结果发送至人机交互界面2中的wi-fi模块22，随后mcu处理器25根据分类结果决定是否驱动相应的手指部位的气泵电机。

　　81.在康复效果评估模式下，用户首先通过人机交互界面2的触控显示屏21选择需要进行训练的动作，将该动作添加到训练队列。训练队列用于存放本次康复用户需要的动作

　　组合，最高支持存放10个动作，每个动作的评估次数固定设置为5次，用户不可调节。开始评估后，触控显示屏21显示当前评估动作的图片，用户根据图片进行实际手指运动，智能康复手设备4采集设置于每个手指的弯曲度传感器和压力传感器信号，将传感器信号数据通过蓝牙无线根据传感器信号数据，获得康复效果评估结果。

　　82.如图6所示，所述的脑电智能解码模块3采用深度学习方法对eeg脑电信号进行分析处理，具体需要以下步骤：

　　83.1)对eeg脑电信号进行预处理，包括滤波降噪、数据增强两个阶段；

　　84.在滤波降噪阶段，首先采用notch滤波器对50hz工频干扰进行陷波滤波，随后采用butterworth带通滤波器组对陷波滤波后的eeg脑电信号进行滤波处理，将eeg脑电信号分为θ(4-7hz)、α(8-12hz)、β(13-30hz)、γ(31-50hz)共4个频段，得到预处理后的eeg脑电信号其中c代表频段，l代表数据长度，g代表通道数；

　　85.在数据增强阶段，对4个频段的预处理后的eeg脑电信号分别通过长度为l的滑动窗口进行数据切分，滑动窗口的滑动步长为b，且滑动窗口之间互不重叠；第j个滑动窗口数据表示为其中表示第c个频段第g个通道中的第p个数据点，表示第j个滑动窗口形成的一个样本。为每一个样本设定标签，标签为在第j个滑动窗口时间内，使用者是否进行了对应动作的运动想象。

　　86.2)搭建基于注意力机制的深度卷积神经网络模型，将所有样本以及对应的标签输入基于注意力机制的深度卷积神经网络模型，对基于注意力机制的深度卷积神经网络模型进行全监督训练：首先利用所有使用者的样本训练得到预训练模型，随后基于预训练模型，使用每个使用者的样本进行精调，得到匹配于每个使用者的精调模型。预训练模型训练过程中使用batchsize为256，学习率0.001，训练次数500次，精调模型训练过程中使用batchsize为16，学习率0.0001，训练次数200次。预训练模型与精调模型的结构完全一致。

　　87.如图7所示，所述的基于注意力机制的深度卷积神经网络模型，包括4个分支，每个分支对应于θ或α或β或γ频段的样本输入，均包括有依次串接的：

　　88.(2.1)一个数据输入层，输入数据为使用者对应于θ或α或β或γ频段的预处理后的eeg脑电信号

　　91.(2.4)一个第一串联层，将第一卷积层的输出与第二卷积层的输出按照最后一个维度进行串联拼接；

　　96.(2.9)一个第一dropout层，dropout概率为0.5；

　　98.(2.11)一个第二批量归一化层，用于加速模型训练，减轻过拟合；

　　101.(2.14)一个第二dropout层，dropout概率为0.5；

　　102.(2.15)一个注意力机制模块，如图8所示，注意力机制模块包括：

　　103.(2.15.1)一个reshape层，将第二dropout层的输出尺寸转换为8

　　104.(2.15.2)一个第一全连接层，神经元个数为64，激活函数为tanh；

　　105.(2.15.3)一个第一重新排列层，将输出的第1维度与第2维度进行交换；

　　106.(2.15.3)一个第二全连接层，神经元个数为1，激活函数为softmax；

　　107.(2.15.4)一个第二重新排列层，将输出的第1维度与第2维度进行交换；

　　108.(2.15.5)一个乘法层，将第二dropout的输出与第二重新排列层的元素进行逐元素相乘；

　　109.(2.15.6)一个自定义加法层，将乘法层的输出在第2维度进行相加；

　　110.(2.15.7)一个展平层，将自定义加法层的输出展开成一维序列；

　　111.将4个分支的展平层输出使用第二串联层进行拼接，将第二串联层的输出连接至第三全连接层；第三全连接层使用softmax作为激活函数，神经元个数为2，输出为指定动作的判断结果。

　　112.如图9所示，所述的智能康复手设备4包括气动手套41、安装在气动手套手背处的控制模块44，分别与所述的控制模块44通过导线相连的安装在气动手套每个手指背侧的弯曲度传感器42、安装在气动手套每个手指前端的压力传感器43，分别与所述的气动手套41的每个手指通过气路相连的气泵45；所述的气动手套41使用气泵45驱动手指独立弯曲或伸展，材质为软体弹性手套，便于使用者佩戴，提高舒适度；所述的弯曲度传感器42根据当前手指弯曲角度输出不同的电压值，实时反映不同手指的弯曲角度；所述的压力传感器43根据当前手指用力程度输出不同的电压值，实时反映不同手指的用力程度；所述的控制模块44是由型号为nrf52832的集成式蓝牙模块构成，集成式蓝牙模块通过多路复用开关轮询读取各个弯曲度传感器42和压力传感器43输出的电压值，并发送至人机交互界面2中的mcu处理器25；同时，控制模块44接收来自于人机交互界面2中mcu处理器25发送的动作选择、参数设置信息，并解码为抽气/打气控制信号、气路选择信号、速度控制信号。mcu处理器(24)根据传感器信息给出康复效果评估等级。

　　113.如图10所示，所述的气泵45接收来自控制模块44的抽气/打气控制信号、气路选择信号、速度控制信号，通过气路控制气动手套41的每个手指的动作。抽气/打气控制信号用于控制气泵的气流方向，进一步控制手指伸展或弯曲；气路选择信号用于选择特定的手指伸展或弯曲；速度控制信号用于控制手指伸展或弯曲的速度。

　　如图11所示，本发明的一种基于人工智能技术的手部全指康复训练及评估系统，使用者在使用前进行系统模式选择，即选择康复训练模式或康复效果评估模式；其中，

　　(1.3)脑电智能解码模块(3)对使用者的eeg脑电信号进行解码，判断是否进行了相应动作的运动想象，并将结果通过wi-fi传送至人机交互界面2中的mcu处理器25；

　　(1.4)mcu处理器(24)根据分类结果，决定是否驱动对应手指的气泵45，进而带动相应手指运动；

　　(2.1)使用者对需要进行康复效果评估的动作进行选择，并设置评估参数；

　　(2.3)智能康复手设备(4)中的控制模块(44)读取对应手指的弯曲度传感器(42)及压力传感器(43)的实时数值，并发送至人机交互界面(2)中的mcu处理器(25)；

　　本领域的技术人员容易理解，以上所述仅为本发明的最佳实施例，并不用以限制本发明。任何在本发明的精神和原则之内所作的修改、等同替换及改进等操作，均应包含在本发明的保护范围内。

　　如您需求助技术专家，请点此查看客服电线.植物资源精细化工与化学 3.生物质精炼 4.天然产物化学

　　1.CRISPR-Cas系统 2.基因编辑 3.基因修复 4.天然产物合成 5.单分子技术开发与应用

　　1. 基于糖类的抗肿瘤药物的合成和活性评价及糖类疫苗的研制 2.功能糖类的化学酶法合成及构效关系研究 3.多糖及仿生材料功能的开发及应用

　　1.天然产品的提取分离与活性研究 2.天然产物活性与安全性评价 3.中药组方配伍机制研究