基于扩展现实的神经心理评估及干预的方法、系统和装置 -pg电子娱乐平台

(19)国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号202211308974.7(22)申请日2022.10.25(71)申请人安徽星辰智跃科技有限责任公司地址230036安徽省合肥市高新区香樟大道168号科技实业园b-4#号楼2层-1(72)发明人(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师(51)int.cl.g16h50/30(2018.01)g16h50/20(2018.01)g16h20/70(2018.01)g06f3/01(2006.01)(54)发明名称基于扩展现实的神经心理评估及干预的方法、系统和装置(57)摘要本发明提出了一种基于扩展现实的神经心理评估及干预的方法、系统和装置，包括在一预设执行时长内执行对待检测用户的神经心理评估检测，通过提取待检测用户的扩展现实多模态交互状态数据特征并进行处理，得到扩展现实交互更新策略以更新扩展现实交互场景，在执行时长的时间终点停止检测，从而实现在多次交互过程中对待检测用户进行神经心理检测及训练的过程。本发明通过神经生理、扩展现实、心理分析和行为分析的融合分析和综合评价，实现自然交互场景中对待检测用户进行快速且连续地病情诊断评估、及时且持续地疾病治疗干预，多次检测，多次评估，多次反馈，多次干预，获得更全面的诊断评估证据和更高效的治疗干预效果。权利要求书5页说明书13页附图3页cn1153766951.一种基于扩展现实的神经心理评估及干预的方法，其特征在于，所述方法包括如下步骤：预先设置一执行时长，并在所述执行时长的时间起点处启动扩展现实交互场景；在所述扩展现实交互场景下，采集待检测用户的交互状态信号并进行连续滑动处理，提取出交互状态数据特征；对所述交互状态数据特征进行多模态特征分析处理，生成待检测用户当前的情绪状态类型和情绪状态水平；对所述交互状态数据特征、所述情绪状态类型和所述情绪状态水平进行智能交互分析计算，识别出待检测用户当前状态和预设目标的差距并进行扩展现实交互场景的目标动态规划，生成扩展现实交互更新策略；根据所述扩展现实交互更新策略，更新所述扩展现实交互场景；重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同交互状态数据特征执行扩展现实交互场景的多次更新，实现对待检测用户的神经心理评估及干2.如权利要求1所述的方法，其特征在于，所述预先设置一执行时长，并在所述执行时长的时间起点处启动扩展现实交互场景的步骤具体为，根据待检测用户的基本状态信息设置神经扩展现实方案，其中，所述基本状态信息至少包括姓名**别、出生日期、年龄、身高、体重、血压、健康状况、疾病信息；在所述执行时长的时间起点处启动扩展现实交互场景。3.如权利要求2所述的方法，其特征在于，所述神经扩展现实方案至少包括方案名称、方案目标、执行时长；其中，所述方案目标至少观察指标和指标目标值。4.如权利要求1所述的方法，其特征在于，所述在所述扩展现实交互场景下，采集待检测用户的交互状态信号并进行连续滑动处理，提取出交互状态数据特征的步骤具体为，采集待检测用户的所述交互状态信号；以预设时间步长、预设时间窗口对所述交互状态信号进行信号数据提取、数据预处理和数据特征分析，提取出所述交互状态数据特征。5.如权利要求4所述的方法，其特征在于，所述交互状态信号至少包括生理状态信号、面部表情信号、语音交互信号和肢体行为信号。6.如权利要求5所述的方法，其特征在于，所述生理状态信号至少包括脑电图信号、脑磁图信号、心电图信号、肌电图信号、皮肤电信号、血氧水平依赖信号、血氧信号、脉搏信号、呼吸信号、温度信号。7.如权利要求4所述的方法，其特征在于，所述数据预处理至少包括a/d数模转换、重采样、重参考、帧率转换、预加重、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波、带通滤波、均值滤波。8.如权利要求1所述的方法，其特征在于，所述交互状态数据特征至少包括生理指征特征、面部表情特征、音素语气特征、语音语义特征、肢体动作特征。9.如权利要求1所述的方法，其特征在于，所述对所述交互状态数据特征进行多模态特征分析处理，生成待检测用户当前的情绪状态类型和情绪状态水平的步骤具体为，通过对基于不同情绪类型、不同情绪水平的多模态交互状态数据特征的训练集数据进行训练，预先构建基于bi‑lstm神经网络情绪分类模型和基于gan对抗神经网络的神经网络情绪水平计算模型，由所述神经网络情绪分类模型和所述神经网络情绪水平计算模型构成神经网络cn115376695多模态情绪计算引擎，将所述交互状态数据特征输入至所述神经网络多模态情绪计算引擎进行处理，生成待检测用户当前的所述情绪状态类型和所述情绪状态水平。10.如权利要求2所述的方法，其特征在于，所述对所述交互状态数据特征、所述情绪状态类型和所述情绪状态水平进行智能交互分析计算，识别出待检测用户当前状态和预设目标的差距并进行扩展现实交互场景的目标动态规划，生成扩展现实交互更新策略的步骤具体为，根据所述神经扩展现实方案中预设的观察指标和指标目标值，计算出基于所述交互状态数据特征、所述情绪状态类型和所述情绪状态水平计算出的待检测用户的当前观察指标值与所述神经扩展现实方案中预设的观察指标的指标目标值的差值；计算出待检测用户与所述扩展现实交互场景的交互剩余时次；将所述差值与所述剩余时次相除，得到平均交互增量；计算观察指标的当前值与所述平均交互增量之和，生成下一交互迭代目标值；根据所述下一交互迭代目标值进行目标动态规划，生成所述扩展现实交互更新策略。11.如权利要求10所述的方法，其特征在于，所述剩余时次的计算公式，如下：式中，tc为所述剩余时次，为所述执行时长，为已完成交互的执行时长，为预设时间窗口长度。12.如权利要求10所述的方法，其特征在于，所述扩展现实交互更新策略至少包括场景主题内容、内容交互情绪迭代目标值、内容交互速率、内容渲染强度、多媒体控制参数。13.如权利要求1所述的方法，其特征在于，所述重复执行上述步骤至所述执行时长的终点时刻处停止，根据待检测用户的不同交互状态数据特征执行扩展现实交互场景的多次更新，实现对待检测用户的神经心理评估及干预的步骤还包括，执行多次扩展现实交互场景更新过程中产生的待检测用户的神经心理学数据和行为学数据的数据分析，并结合在所述执行时长内多次交互过程中产生的情绪状态类型曲线和情绪状态水平曲线，生成精神心理评估报告和治疗干预进展报告，实现对待检测用户的神经心理评估及干预。14.如权利要求13所述的方法，其特征在于，所述精神心理评估报告至少包括精神状态报告、应激应对报告、动机情感报告、人格类型报告；所述治疗干预进展报告至少包括治疗效果报告、治疗干预调整策略、疾病治疗建议。15.一种基于扩展现实的神经心理评估及干预的系统，其特征在于，所述系统包括如下模块：xr方案控制模块，用于根据待检测用户的基本状态信息在所述扩展现实交互场景中设置神经扩展现实方案，在所述神经扩展现实方案中预先设置执行时长，并在所述执行时长 的时间起点处启动扩展现实交互场景，并在所述执行时长的终点时刻处停止所述扩展现实 交互场景，以根据待检测用户的不同交互状态数据特征执行所述扩展现实交互场景的多次 更新，生成对待检测用户的神经心理评估及干预方案； 信号采集处理模块，用于在所述扩展现实交互场景下，采集待检测用户的交互状态信 号并进行连续滑动处理，提取出交互状态数据特征； 情绪多模分析模块，用于对所述交互状态数据特征进行多模态特征分析处理，生成待 检测用户当前的情绪状态类型和情绪状态水平，以及在所述执行时长内多次交互过程中， cn115376695 生成情绪状态类型曲线和情绪状态水平曲线；扩展现实交互模块，用于对所述交互状态数据特征、所述情绪状态类型和所述情绪状 态水平进行智能交互分析计算，识别出待检测用户当前状态和预设目标的差距并进行所述 扩展现实交互场景的目标动态规划，生成扩展现实交互更新策略，并根据所述扩展现实交 互更新策略更新所述扩展现实交互场景； 神经心理报告模块，用于根据多次所述扩展现实交互场景更新过程中产生的待检测用 户的神经心理学数据和行为学数据的数据分析，并结合在所述执行时长内多次交互过程中 产生的所述情绪状态类型曲线和所述情绪状态水平曲线，生成精神心理评估报告和治疗干 预进展报告； 数据存储管理模块，用于对xr方案控制模块、信号采集处理模块、情绪多模分析模块、 扩展现实交互模块和神经心理报告模块所产生的过程数据进行统一存储和管理。 16.如权利要求15所述的系统，其特征在于，所述xr方案控制模块包括： 人员信息记录单元，用于待检测用户所述基本状态信息的输入、编辑、删除、查询和匹 配设置管理，所述基本状态信息至少包括姓名、性别、出生日期、年龄、身高、体重、血压、健 康状况、疾病信息； xr方案设置单元，用于所述神经扩展现实方案的输入、编辑、删除、查询和设置管理，所 述神经扩展现实方案至少包括方案名称、方案目标、执行时长。 17.如权利要求15所述的系统，其特征在于，所述信号采集处理模块包括： 信号采集记录单元，用于连接信号采集设备，采集所述交互状态信号，所述交互状态信 号至少包括生理状态信号、面部表情信号、语音交互信号和肢体行为信号； 信号数据提取单元，用于以预设时间步长、预设时间窗口对所述交互状态信号进行信 号截取和数据提取； 信号数据处理单元，用于分别对所述交互状态信号中的生理状态信号、面部表情信号、 语音交互信号和肢体行为信号进行数据预处理，所述数据预处理至少包括a/d数模转换、重 采样、重参考、帧率转换、预加重、降噪、去伪迹、信号矫正、工频陷波、低通滤波、高通滤波、 带通滤波、均值滤波； 生理状态特征提取单元，用于从所述交互状态信号中的生理状态信号提取生理指征特 18.如权利要求15所述的系统，其特征在于，所述情绪多模分析模块包括：情绪多模分析单元，用于将所述交互状态数据特征输入至预先构建的神经网络多模态 情绪计算引擎进行分析处理，生成待检测用户当前的所述情绪状态类型和所述情绪状态水 cn115376695 情绪状态记录单元，用于在所述执行时长内多次交互过程中，生成所述情绪状态类型曲线和所述情绪状态水平曲线。 19.如权利要求15所述的系统，其特征在于，所述扩展现实交互模块包括： 智能交互分析单元，用于对所述交互状态数据特征、所述情绪状态类型和所述情绪状 态水平进行智能交互分析计算，识别出待检测用户当前状态和预设目标的差距并进行所述 扩展现实交互场景的目标动态规划，生成所述扩展现实交互更新策略； 交互策略同步单元，用于将所述扩展现实交互更新策略同步输入到xr交互引擎单元； xr交互引擎单元，用于接收所述扩展现实交互更新策略，并根据所述扩展现实交互更 新策略营造真实、虚拟组合的数字化环境和多模态融合的人机交互环境，搭建主题场景，实 现并更新所述扩展现实交互场景。 20.如权利要求15所述的系统，其特征在于，所述神经心理报告模块，包括： 心理评估报告单元，用于根据多次所述扩展现实交互场景更新过程中产生的待检测用 户的神经心理学数据和行为学数据的数据分析，结合所述情绪状态类型曲线，生成所述精 神心理评估报告, 所述精神心理评估报告至少包括精神状态报告、应激应对报告、动机情 感报告、人格类型报告； 治疗进展报告单元，用于根据多次所述扩展现实交互场景更新过程中产生的待检测用 户的神经心理学数据和行为学数据的数据分析，结合所述情绪状态水平曲线，生成所述治