一种即插即用的桌面交互智能体模块及其交互方法

本发明属于人机交互技术领域，公开了一种即插即用的桌面交互智能体模块及其交互方法，模块搭载嵌入式AI计算平台实现桌面交互，交互过程包括：利用HDMI采集卡获取桌面的GUI视图，使用麦克风获取语音指令并转换成指令文本；利用深度学习算法解析GUI视图，构建结构化的GUI视图文本表征；基于大语言模型分析交互意图，制定基于GUI控件的执行方案；通过USB接口与键鼠协议向计算机系统发送键鼠事件，实现交互的自主执行；本发明所述模块作为一种即插即用的外部设备，内部搭载了嵌入式AI计算平台，使得桌面交互智能体摆脱对计算机系统的网络、算力的依赖，不会为计算机系统造成额外的计算负担，有利于桌面交互智能体在现有计算机系统上的大规模落地应用。