基于KubeEdge Sedna的边缘AI免费在线公开课,上线德国最大AI慕课平台!
来源微信公众号:KubeEdge
1 边缘AI已成新兴技术领域
传统的云计算习惯将算 力和数据存储部 署在大型数据中心,而与之相对的边缘计算则强调让计算和数据存储更接近数据源。 边缘人工智能(Edge AI)顾名思义结合了边缘计算和人工智能两个领域的技术优势,在过去几年中迅速发展为一个新兴的技术应用领域。 由Gartner人工智能发展周期预测图中可以看到,Edge AI技术当前已经处于其发展周期中的预期峰值。
Gartner人工智能发展周期预测如下图所示:
Edge AI 可以直接在边缘或客户端设备上实现 AI 计算、提高能效、支持低延迟、解决数据隐私问题。那么,边缘场景下传统深度学习算法该如何设计或改进呢?
2 边缘AI课程概述与计划
为了解答上述问题,哈索普拉特纳计算机系统工程院(HPI)多媒体和机器学习研究组负责人杨浩进,协同华为云边缘云创新Lab、华为慕尼黑研究所录制了边缘AI在线课程。课程从算法、软件框架以及硬件三个层面带大家学习Edge AI相关知识。它介绍了深度模型压缩和加速技术、云端和边缘协同式训练和推理技术,以及带大家基于目前开源社区中流行的Edge AI软件框架Sedna实践了联邦学习和协同推理等应用案例。课程为期六周,除了传统的线上视频和作业外,还基于Kaggle平台每周为学员准备了和主题相关的编程和模型训练任务。
课程涵盖“深度学习基础知识及发展简史”、“卷积神经网络架构的演进”、“高性能小模型设计、知识蒸馏技术”、“经典深度模型压缩技术”、“Edge AI简介及其技术挑战解析”、“Edge AI进阶技术路线和应用场景”等边缘AI领域相关内容。
边缘AI课程首页如下图所示:
AI campus平台边缘AI课程封面与目录如下图所示:
第openHPI平台边缘AI课程简介如下图所示:
3 Kaggle上的边云协同AI课程
3.1基于Sedna的联邦学习实践课
在本实践课中,使用联邦学习来优化基于二值神经网络的BNN基础模型。通过Sedna联邦学习框架,每个学生客户端作为边缘的TrainingWorker,只访问自己本地的训练集,通过将每轮本地训练的权重共享到云端AggregationWorker进行聚合。这样通过联合不同参与课程的学生所被分配的数据集,多轮循环迭代训练,在客户端原始数据不互相共享的情况下,提升各自模型的精度。
实践课Kaggle地址:https://www.kaggle.com/jopyth/edge-ai-w5-federated-learning
基于Sedna的联邦学习实践课课程截图如下所示:
3.2 基于Sedna的协同推理实践课
在本实践课中,基于已训练好的图像分类的小模型和大模型,在本地和云端分别部署,利用Sedna框架的通信、难例识别等能力协同进行推理。本地客户端部署小模型,负责处理简单样本,云端大模型利用较为充足计算资源处理困难样本。这样通过对样本的分流和模型的协作,在保证吞吐量、时延不明显降低的情况下,实现整体推理精度的提升。
实践课Kaggle地址:https://www.kaggle.com/jopyth/edge-ai-w6-collaborative-inference
基于Sedna的协同推理实践课课程截图如下所示:
4 边云协同AI框架Sedna
KubeEdge 是一个开源的边缘计算平台,它在Kubernetes原生的容器编排和调度能力之上,扩展实现了边云协同、计算下沉、海量边缘设备管理、边缘自治等能力。KubeEdge还将通过插件的形式支持5G MEC、AI云边协同等场景,目前在很多领域都已落地应用[2]。
Sedna基于KubeEdge提供的边云协同能力,实现AI的跨边云协同训练和协同推理。支持现有AI类应用无缝下沉到边缘,快速实现跨边云的协同推理、增量学习、联邦学习、终身学习等,最终降低边云协同机器学习服务构建与部署成本、提升模型性能、保护数据隐私等[1][3]。
Sedna项目由华为云边缘云创新Lab孵化,于20年12月在KubeEdge SIG AI社区发布开源,华为慕尼黑研究所、中国电信研究院目前主要参与新特性的贡献,并吸引了来自清华大学、南洋理工大学、北京交通大学、西安电子科技大学、香港理工大学等各大高校的贡献者,共同研究与探索边缘AI领域未来的技术方向。
Sedna整体架构图如下所示:
5 附:KubeEdge SIG AI社区技术交流地址
欢迎更多对边缘计算感兴趣的同学们加入KubeEdge社区,参与AI SIG,一起建设云原生边缘计算生态。
项目地址:
https://github.com/kubeedge/sedna
例会时间和地址:
时间:每周四上午10: 00
地址:https://zoom.us/my/kubeedge
SIG AI工作目标和运作方式:
6 引用
[1] “加速AI边云协同创新!KubeEdge社区建立Sedna子项目,” 2021. Available: https://mp.weixin.qq.com/s/FX2DOsctS_Z7CKHndFByRw.
[2] “KubeEdge架构解读:云原生的边缘计算平台,” 2020. Available: https://mp.weixin.qq.com/s/8AvkgupCQpI_JCL2P7x8jw.
[3] “kubeedge/Sedna,” 2021. Available: https://github.com/kubeedge/sedna.