摘要
本发明提供了一种基于面向对象的层次化记忆网络装置,包括:低级别对象感知模块、时空记忆构建模块和长期时空记忆建模模块;所述低级别对象感知模块,用于通过分割基础模型提取输入视频的对象特征;所述时空记忆构建模块,用于通过分析帧间空间和时间关系,提取对象交互和场景的信息,从而将对象特征与输入的原始视频帧进行拼接,生成目标感知的空间表示;所述长期时空记忆建模模块,用于通过记忆库存储历史信息,捕捉视频级别的全局依赖关系,将时空记忆构建模块输出的多个相邻视频帧在通道维度上进行拼接,以形成局部多帧时空表示。达到增强模型对长视频中细粒度时空动态的捕捉能力的目的。