随着5G的规模商用以及AI技术在各行各业的逐步普及,新型智能应用及终端正对体验、时延、带宽、安全等数字业务的关键要素提出全新的挑战,而边缘计算正在成为应对挑战的核心手段。据Gartner预测,到2022年,边缘计算将成为所有数字业务的必要需求。
在今年3月结束的华为开发者大会2020(Cloud)上,华为云智能边缘平台IEF首席架构师张琦深度解读了十万边缘节点的管理技术,以及如何通过云原生技术和边缘计算结合,构建边缘计算实战场景中所需的业务下沉、云边协同及离线自治等关键能力。
从“Cloud Native”到“Edge Native”的挑战
标准的边云协同模型,对Cloud Native技术有六大协同诉求:服务协同,业务管理协同、应用管理协同、智能协同、数据协同,以及云边的资源协同。
举例来说,应对智能协同的需求,可采用“云上训练,边缘推理”的思路:
云端,人工智能服务利用海量计算资源,完成海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成;
边缘侧,边缘服务将云上训练好的AI应用以容器或函数形式推送到边缘节点,提供边云传输通道,联动边缘和云端的数据,支撑AI应用实现边云智能协同,同时提供升级、监控、日志等运维能力;
边缘AI容器/函数加载模型,实时从设备获取数据,通过推理进行瑕疵检测,根据结果调整生产设备的参数,提升良品率。边缘产生的数据和推理结果周期上传到云上,用于持续模型训练和生产分析。
然而在此之上,“Edge Native”应用的一系列特殊需求,如极致的轻量化、离线自治及故障自愈及超大规模节点管理等,对Cloud Native技术提出了更高的要求:
1.极致的轻量化:端侧设备由于资源有限,对边缘计算平台的资源占用往往有较强约束。通过对已有框架的插件化实现以及实施轻量化改造(裁剪边缘侧不适用场景、重写模块等),加上容器引擎的轻量化实现,可以有效提升边缘业务并发启动速度,并大幅降低稳态下的内存占用;
2.离线自治及故障自愈:工业制造、交通等领域经常会有边缘节点离线的场景,要保证业务高可靠,离线节点需要具备故障迁移、多实例运行以及本地恢复等能力。实现思路:依据先预选、再优选的方式基于调度优先级构建边缘部署优选树;再依据调度优先级的顺序对高优先级节点进行监控,决策是否接管调度;最后依据边缘部署优选树进行节点调度决策传递,当本节点接管调度决策后,依据设置好的调度策略对应用在本节点进行调度;
3.大规模节点管理:一方面是南北向大流量冲击问题,如何在带宽有限的情况下保证边云信息交互,以及并发操作带来的DB过载,需要设计得当的边云消息优化、系统保护以及流程优化策略;另一方面,出于成本考虑,云边通道的带宽往往非常小,在中心云侧做大规模边缘应用分发将造成灾难性的拥塞,此时则需要建立边缘镜像加速站点,自动同步主镜像仓库中选定的镜像,利用边缘侧本地大带宽向同一区域的边缘节点提供镜像下载服务。
实际场景如高速公路收费管理,该场景涉及超大规模边缘节点的管理和运维,同时要求具备边缘故障自愈以及分权分域管理的能力。基于华为云智能边缘平台IEF构建的端边云协同方案,实现了十万级边缘节点快速接入、百万级应用边云协同,且支持边缘节点自治,以及部联网中心-省联网中心-路段公司-路段分公司-路段-收费站6级权限管理模式。该方案还可灵活扩展,未来可向V2X车路协同和自动驾驶演进。
KubeEdge:源于实践,贡献开源
KubeEdge来源于华为云IEF团队在边缘计算领域的实践,是CNCF(Cloud Native Computing Foundation,云原生计算基金会)的正式项目,也是唯一的智能边缘计算项目,当前已被Kubernetes IoT Edge工作组作为边缘计算参考架构,并已吸引60+家企业关注和贡献(如ARM、京东、中国移动、联通、浙大等),成为产业界构建边云协同架构的参考架构主要选项之一。
KubeEdge发展至今经历了三个阶段:
v0.1-0.3:KubeEdge宣布开源,成为业界首个基于k8s的开源边缘计算架构,支持开放云边协同、容器部署、边缘设备管理以及轻量化部署等特性;
v1.0:KubeEdge的里程碑版本,全面支持端、边、云协同,支持EdgeMesh服务网格、EdgeSite边缘轻量级集群以及CRI集成,并引入了Quic协议;
v1.1:该版本将Kubernetes容器存储标准CSI带到了边缘,支持对象校验组件、单击一键启动KubeEdge集群工具以及DockerShim;
未来:更多的边缘设备协议支持、云边协同的效率、可靠性……
KubeEdge项目的发展离不开社区的力量,当前社区诚挚邀请广大开发者的加入,欢迎每一位贡献者的参与。
新基建背景下,数字化转型及智能化升级正当时。在这场声势浩大的建设潮流中,企业和组织的业务形态将发生巨变,并触发技术领域的新一轮更迭,其中云原生技术与边缘计算将起到不可忽视的作用。华为云智能边缘平台IEF希望与广大伙伴及开发者一同,构筑面向未来、领先的边缘解决方案,共赢万物互联的智能新时代。