人体动作与语言指令联合识别系统

本发明公开了人体动作与语言指令联合识别系统，具体涉及智能识别领域，包括语言识别模块、动作识别模块、互信息值模块、独立分析模块、融合分析模块和指令生成模块；语言识别模块用于采集人体语言信息，并对人体语言信息进行特征提取，生成语言信号X；动作识别模块用于采集人体动作信息，并对人体动作信息进行特征提取，生成动作信号Y；互信息值模块从语言信号X和动作信号Y中构建联合分布，获取语言信号X的概率分布、动作信号Y的概率分布以及语言信号X和动作信号Y的联合概率分布。本发明系统在口音多样、视角多变的复杂环境中仍能稳定识别，减少因信号误判导致的交互失误，让用户在不同交互场景下都能获得自然高效的体验。