一种多模态融合的自适应手语数字人物生成方法及系统

本发明公开了一种多模态融合的自适应手语数字人物生成方法及系统。通过提取手部关节点三维坐标、轮廓掩码和光流场的多模态特征，利用强化学习模型根据缺失帧数、手势复杂度等状态动态选择插值策略，结合混合神经网络的层次化跨模态注意力融合与生物力学约束，实现高精度手势补全。系统对补全后的关节点施加骨骼动力学和肌肉‑皮肤耦合约束，确保动作符合人体解剖学规律，最后驱动数字人物生成流畅手语动作。该方法在遮挡场景下有效降低关节点误差，能够提升手语数字化的精度与效率。