摘要
本发明公开一种基于算力网络云边端协同的无服务器分布式深度神经网络推理系统及方法，设计边缘层、雾层、云层三层计算结构，自定义OpenFaaS或Fission无服务器平台分层推理函数部署，采用基于TypeScript/Deno开发的自定义KafkaHTTP异步连接器完成跨层通信，具有如下创新：1)首次提出双函数协同架构，漏斗函数funnel负责Kafka连接，推理函数inference负责TensorFlow模型加载DDNN分层计算，分离部署后冷启动延迟降低40%；2)动态分区优化，支持BranchyNet架构早期退出策略(置信度>=95%即可返回结果)，支持ARM/x86异构硬件模板，支持DDNN模型在资源受限设备(CPU<=500m,内存<=512MB)上弹性部署；3)创新连接器技术，kafkatohttp连接器采用非阻塞IO模型，实现1000+req/s的高吞吐量代理，解决平台原生连接器资源泄露问题；4)智能扩缩容引擎，OpenFaaS使用Prometheus警报触发副本动态调整(120副本)，Fission使用KubernetesHPA进行副本准确控制，在5个客户端负载下延迟比KafkaML框架优化了55%，318s‑494s。系统具有毫秒级推理延迟，可在RaspberryPi到GPU集群等各种平台运行，并且具有自动伸缩等特点。
