摘要
本发明涉及语音信号处理领域,尤其涉及基于语音识别的多语言交互学习系统,系统同步采集声波与口型图像并离散化,对齐后形成跨模态编码;其次,将该编码经相位调制注入微环光子储备网络展开时序特征,映射为四元图嵌入并通过扩散‑脉冲耦合方法提取分段边界;然后,按固定字段顺序将四元图嵌入与分段数据封装为对象记号提示输入低秩适配语言模型,生成语义分段数据与文本转写;最后,适配学习模块利用整数分形哈希异或差异掩码对低秩权重与脉冲网络实施稀疏梯度更新,并在用户澄清后采用支持‑查询元学习同步迭代。本发明系统在端侧实现低功耗、高精度、秒级口音自适应的多语言语音交互。