流程图
步骤一:模型准备
在部署边缘服务前,您需要准备配套的模型。针对本示例,指导用户使用ModelArts预置算法训练模型。
1、进入ModelArts的AI Gallery。
2、在AI Gallery中,下载dataset_mask_detection_500数据集。
在数据集详情页,单击“下载”,根据页面指导,将数据集下载至OBS路径下(后续创建数据集会使用该OBS地址)。其中,目标区域与ModelArts所在区域一致。
数据集启动下载后,需要一段时间,请耐心等待,您也可以前往“我的Gallery > 我的资产 > 数据 > 我的下载”,查看下载进度。
3、创建并发布数据集。
进入ModelArts管理控制台,选择“数据管理 > 数据集(旧版)”,单击“创建数据集”,类型选择“物体检测”,使用上一步中的OBS路径作为“数据集输入位置”,“数据集输出位置”指定为一个空目录。
数据集创建完成后,当数据集详情中显示500张图片已标注后,执行发布数据集的操作。注意一点,需开启数据切分功能,并将训练集比例设置为“0.8”。
4、订阅预置算法。
在AI Gallery中,订阅物体检测YOLOv3_ResNet18算法,根据界面提示订阅此算法。
5、使用预置算法和数据集创建训练作业。
使用3的数据集和4的算法,创建训练作业。
6、模型转换和创建AI应用。
训练后得到的模型并不符合Atlas 500要求,需转换成om格式后再导入ModelArts。
执行模型转换和创建AI应用时,请参考“物体检测YOLOv3_ResNet18”算法详情页的描述,根据“Ascend310推理”的内容选择模型和参数设置。
步骤二:在IEF中注册并纳管Atlas 500
将您的Atlas 500设备注册并纳管至华为云IEF服务中,纳管后,可直接在ModelArts中完成模型部署。
1、注册边缘节点。
a. 登录IEF管理控制台。
b. 选择左侧导航栏的“边缘资源 > 边缘节点”,单击页面右上角的“注册边缘节点”。
c. 配置边缘节点基本信息。
ㆍ名称:边缘节点的名称。
ㆍ标签:标签可用于对资源进行标记,方便分类管理。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在TMS服务中创建预定义标签。
ㆍAI加速卡:选择“华为AI加速卡”。
ㆍ绑定设备:为边缘节点绑定边缘设备。设备在注册边缘节点后仍然可以绑定。
ㆍ是否启用docker:启用后可以支持部署容器应用。
ㆍ监听地址:配置边缘节点上MQTT Broker的监听地址,可以选择网卡或IP。
当前支持配置边缘节点的系统日志和应用日志。
ㆍ系统日志:边缘节点上IEF软件(如edge-core、edge-logger和edge-monitor等)产生的日志。
ㆍ应用日志:边缘节点上部署的应用所产生的日志。
系统日志和应用日志需要配置如下几个参数:
ㆍ日志文件大小:日志文件大小限制,单位MB,默认50,取值范围10-1000。某个日志文件如果达到大小限制,则会转储。系统日志保存在边缘节点“/var/IEF/sys/log/”目录下,然后转储到AOM;应用日志会将容器的标准输出和挂载到边缘节点“/var/IEF/app/log”的日志转储到AOM。
ㆍ滚动日志周期:日志转储周期,可选项:daily,weekly,monthly,yearly。日志文件大小和滚动日志周期是同时生效的,满足任何一个条件都会进行日志转储。
ㆍ滚动日志数量:日志文件转储个数,默认5,取值范围1-10。边缘节点保存的转储日志数量如果达到限制,则会删除最老的那个转储文件。
ㆍ是否开启云端日志:您可以通过开关控制是否上传日志到AOM服务,开启之后您可以在AOM中查看日志,具体请参见在AOM查看日志。
ㆍ云端日志级别:系统日志的可选项为:error,warning,info,debug。日志级别配置不同,上传的日志内容也不相同,error,warning,info,debug表示上传不同的日志级别。
d. 单击页面右下角的“注册”,下载配置文件,在后续2时将用到这些。
图:下载配置文件
e. 单击“完成”。
您可以看到边缘节点的状态为“未纳管”,这是因为还未纳管边缘节点,请参见2纳管节点。
2、纳管Atlas 500智能小站。
a. 以admin用户登录智能小站后台,检查DNS服务器域名解析是否正常。
ㆍ切换至develop模式,输入root用户的密码。
ㆍ尝试ping华为云IEF的服务地址,观察域名是否能够解析。
ping ief-edgeaccess.cn-south-1.myhuaweicloud.com
如果显示如下,则说明无法解析。
执行如下命令,将公网的DNS服务器IP地址(例如114.114.114.114)加入resolv.conf。
vi /etc/resolv.conf
如果显示如下,则说明能解析,请执行下一步。
b. 登录智能小站的WebUI,WebUI地址为https://{hostIP}。
hostIP为智能小站的IP地址。
c. 选择顶侧导航栏“维护”,单击页面左侧的“网管注册”。
d. 选择网管模式为“华为云智能边缘平台IEF管理”,并上传1.d下载的配置文件。
图:上传IEF节点证书
e. 单击“保存”,等待智能小站被纳管到IEF平台。
在IEF控制台查看节点详情中的当前状态。当前状态为“运行中”表示纳管成功。
步骤三:将AI应用部署为边缘服务
1、登录ModelArts管理控制台,在左侧菜单栏中选择“部署上线>边缘服务”,在边缘服务列表中,单击“部署”进入“部署”页面。
2、在“部署”页面中,选择对应的AI应用及其版本。选择“计算节点规格”和“边缘节点”。
ㆍ“计算节点规格”:选择“ARM:3 核 3 GiB Ascend: 1 * Ascend 310”。
ㆍ“边缘节点”:单击“添加”,在弹出的“添加节点”对话框中,选择在IEF中纳管的Atlas 500节点,然后单击“确定”。若添加节点后,提示“请先完成:升级C32固件”,请参考本文档中的常见问题:升级Atlas 500固件升级固件。
3、单击“立即创建”,完成边缘服务的部署操作。
系统自动进入“边缘服务”列表,新部署的边缘服务将展现的列表中。服务部署需要耗费一些时间,本示例选用的Atlas 500部署时需耗费十分钟左右,请耐心等待。当服务状态变为“运行中”时,表示边缘服务已部署完成,您可以单击服务名称进入服务详情页。
“运行中”的服务,可以在“节点信息”中获得一个URL,该URL为模型访问、推理、预测接口。同时,此边缘服务处于“运行中”时,表示您的Atlas 500已具备此模型的AI能力。
步骤四:查看推理结果
ModelArts边缘服务部署完成后,可以通过postman发送http请求,查看推理结果。
1、下载Postman软件并安装,您可以直接在Chrome浏览器添加Postman扩展程序(也可使用其它支持发送post请求的软件)。
2、打开Postman。
3、在Postman界面填写参数,以图像分类举例说明。
ㆍ选择POST任务,将边缘节点的调用地址(即步骤三:将AI应用部署为边缘服务步骤完成后获得的URL)复制到POST后面的方框。
POST参数填写
ㆍ在Body页签,根据模型的输入参数不同,可分为2种类型:文件输入、文本输入。本示例的图像分类模型为文件输入。
选择“form-data”。在“KEY”值填写模型的入参,比如本例中预测图片的参数为“images”。然后在“VALUE”值,选择文件,上传一张待预测图片(当前仅支持单张图片预测)。
填写Body配置
4、参数填写完成,单击“Send”发送请求,结果会在Response下的对话框里显示。
文件输入形式的预测结果如下图所示,返回结果的字段值根据不同模型可能有所不同。
边缘服务文件输入预测结果