人工神经网络的动态稀疏化训练方法、装置、终端及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
人工神经网络的动态稀疏化训练方法、装置、终端及介质
申请号:CN202510909422
申请日期:2025-07-02
公开号:CN120764612A
公开日期:2025-10-10
类型:发明专利
摘要
本发明提供一种人工神经网络的动态稀疏化训练方法、装置、终端及介质。该方法包括:基于激活点聚集损失和区域中心分离损失构建神经网络的损失函数;其中,神经网络的每层设有多个激活区域;将输入特征映射到庞加莱圆盘模型表示的双曲空间,并基于损失函数,对神经网络进行稀疏化训练;基于激活点与区域中心的双曲相似度,将各个激活点归类到各个激活区域;基于聚类结构动态生成稀疏掩码,并将稀疏掩码加入神经网络的激活函数。本发明能够在保持或提升模型精度的同时,将推理FLOPs与显存占用降低70%以上,训练收敛时间缩短约25%,并借助层级友好的双曲表示显著增强模型可解释性,满足边缘终端对高效率、低功耗AI部署的需求。
技术关键词
人工神经网络 动态 聚类 可读存储介质 处理器 注意力 终端 训练装置 圆盘 模块 存储器 计算机 低功耗 高效率 层级 精度