检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取摄像头视频帧 该接口用于读取一帧视频。注意IPC摄像头和MP4视频返回的是YUV_NV21颜色排布的数据,而UVC类型的摄像头返回的是BGR颜色排布的数据。 接口调用 hilens.VideoCapture.read() 返回值 一帧视频数据。参数类型为numpy数组(dtype为uint8),兼容cv2。
获取模型路径 返回技能模型目录的路径。 对于技能代码包和模型分离的情况,模型会下载到特定目录,使用此函数来获取该路径。如果HiLens Framework没有获取模型所在目录,则返回当前路径。 接口调用 std::string hilens::GetModelDirPath() 返回值
Framework通过封装底层接口、实现常用的管理功能,让开发者可以在华为HiLens管理控制台上方便地开发技能,培育AI生态。 HiLens Framework的分层结构如图1所示,HiLens Framework封装了底层的多媒体处理库(摄像头/麦克风驱动模块Media_mini),以及D芯片相关的图像处理库
168.2.111)。按“Enter”键。 如果浏览器显示“此网站的安全证书有问题”,请单击“继续浏览此网站(不推荐)”。 在系统登录界面中,配置登录信息。 在“用户名”和“密码”输入框中输入登录的用户名和密码。 初始用户名和密码请见HiLens Kit 用户指南>默认数据。 图1 登录华为HiLens智能边缘管理系统-7
买一个可用的技能,也可以在ModelArts AI Gallery订阅HiLens技能。 背景信息 购买技能需要一定的费用,在使用华为HiLens前检查账号状态,账号不能处于欠费或冻结状态。 技能可以分为“适用于Ascend芯片的技能”和“适用于海思35XX系列芯片的技能”,请仔
ns Framework的API。 下面是使用HiLens Framework获取摄像头内容并做简单处理的示例。 需要在开发技能时填写代码执行文件。 固件1.1.2及以后版本支持配置技能的Python依赖库。开发者在开发技能过程中,可根据自身需要配置技能的Python依赖库,详情请见配置技能的Python依赖库。
默认值 参数的默认值。如果参数为固定值,参数的默认值必填。 最大值 如果参数类型为“int”和“float”,则需要设置参数的最大值。 最小值 如果参数类型为“int”和“float”,则需要设置参数的最小值。 步长 如果参数类型为“int”和“float”,则需要设置参数的步长。 参数说明
在“用户名”和“密码”输入框中输入登录的用户名和密码。 初始用户名和密码请见HiLens Kit 用户指南>默认数据。 图1 登录华为HiLens智能边缘管理系统-4 在主菜单中选择“管理>网络>有线网络”。 进入“有线网络”配置页面。 图2 有线连接路由器 单击检测网络状态后的“检测”,检查网络是否连接。
管理网口 将DC 12V的电源适配器的端口插入HiLens Kit后面板的电源接口。 打开HiLens Kit的电源开关(按住开关键1到2秒放开)。 将网线的一端连接到设备的管理网口上,另一端连接到PC的以太网口上。 互通PC与HiLens Kit网络 设置PC机的IP地址、子网掩码或者路由,使PC机能和设备网络互通。
针对日志报错信息解决模型转换问题。 确认上传的模型文件是否正确 导入自定义模型前,需要将自定义的模型上传到OBS服务,非“.om”格式的模型上传文件包含caffe模型文件“.caffemodel”和“.prototxt”和配置文件“.cfg”,或tensorflow的“.pb”模型文件和配置文件“.cfg”。
默认值 参数的默认值。如果参数为固定值,参数的默认值必填。 最大值 如果参数类型为“int”和“float”,则需要设置参数的最大值。 最小值 如果参数类型为“int”和“float”,则需要设置参数的最小值。 步长 如果参数类型为“int”和“float”,则需要设置参数的步长。 参数说明
仅可对处于“在线”状态(即运行状态)的设备卸载技能。处于离线状态(即非运行状态)的设备无法卸载技能。 卸载技能会删除端侧的技能和技能数据,请谨慎操作。 卸载技能 在“技能管理”界面中,进入“技能管理”界面,选择指定的技能,单击“操作”列的“卸载”。 图1 卸载技能 在弹出的对话框中,确认要卸载的技能信息,单击“确定”完成卸载操作。
华为HiLens平台的技能市场除了开发者分享的技能,也提供官方的预置技能供您购买使用。本章节主要介绍技能市场中预置的商用技能相关描述、基本信息、运行时配置参数和技能结果上传接口。 人脸检测技能:面向智慧商超的人脸采集技能。 多区域客流分析技能:面向智慧商超的客流统计技能。 车牌识别技能:面向智慧商超的车牌判断技能。
Kit后面板接口如图1和表1所示。 图1 后面板接口 表1 后面板接口说明 接口 说明 1 电源开关 2 电源接口 3 管理网口 将DC 12V的电源适配器的端口插入HiLens Kit后面板的电源接口。 打开HiLens Kit的电源开关(按住开关键1到2秒放开)。 将网线的一端连接到设
人脸检测技能开发:基于人脸检测的Caffe模型,使用华为HiLens的模型导入和技能开发功能,新建一个全新的人脸检测技能。 手势识别技能开发(ModelArts+华为HiLens):基于手势识别的模型训练数据,使用ModelArts的模型训练、转换功能和华为HiLens技能开发功能,新建一个全新的手势识别技能。
检查网络是否连通。命令行输入ping 8.8.8.8和ping 任意网站是否能ping通。 请检查OBS桶是否存储您所需要的技能。如果OBS桶中没有技能,请检查OBS桶是否存在权限设置,详情请见查看桶的信息。 可去掉桶的权限,或重新创建一个没有限制权限的OBS桶,重新安装技能。创建桶的操作请见创建桶。 检查时间是否同步,并修改错误时间。
Framework接口调用。 模型加密操作 下载加密工具:crypto_tool,并拷贝到设备系统的“/tmp”目录下,赋予执行权限: chmod +x crypto_tool 使用方法请参见工具的帮助信息: ./crypto_tool ./crypto_tool encode --model_file
设备注册完成后,您可在华为HiLens平台的技能市场订购所需要的技能,拓展设备的AI能力。例如订购一个“人脸判断”技能,安装在设备上后,即可让设备具备判断人脸的能力。 登录专业版HiLens管理控制台,在左侧导航栏选择“产品订购>订单管理”。 默认进入“技能订单”页签。 单击右上角的“前往订购”。 进入
设备列表”,进入“设备列表”页面。 单击已注册设备的“技能管理”,已部署的技能状态为“停止”,单击操作列的“启动”,并单击“确定”,确定启动技能运行在端侧设备上。 等待一会,当状态变为“运行中”,则技能成功运行在端侧设备上。同时,您也可以通过显示器查看技能输出数据。 已部署的技能状态说明如表1所示。 图1
华为HiLens为端云协同多模态AI开发应用平台,提供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台,对接多种端侧计算设备,支持视觉及听觉AI应用开发、AI应用在线部署、海量设备管理等。 在调用华为HiLens服务的API之前,请确保已经充分了解华为HiLens服务相关概念,详细信息请参见产品介绍。