检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行开发模型和逻辑代码,可以满足您更丰富的场景。 运行在海思35XX系列芯片的技能对内存和性能的要求比较高,针对适用于此类设备的技能需要对模型进行优化后才能运行,若需要开发此类技能,请联系华为工程师。 图1 技能开发的不同场景 新建可训练技能的流程 ModelArts Pro控制台
依赖其他服务的最小化授权项 创建定制技能 POST hilens:market:createCommissionSkill - 下载技能市场的技能 GET hilens:market:downloadSkill obs:object:GetObject 创建技能市场的技能订单 POST
本章节介绍使用可训练技能模板新建技能。使用可训练技能模板新建技能,可自主上传数据训练模型,并快速创建技能,一键部署至端侧设备。 使用可训练技能模板新建技能,仅支持训练模型提高模型精度,暂不支持修改技能的逻辑代码。如果您希望自行修改技能的逻辑代码,可以选择开发基础技能,详情请见控制台开发技能。 前提条件
该接口用于读取一帧视频。注意IPC摄像头和MP4视频返回的是YUV_NV21颜色排布的数据,而UVC类型的摄像头返回的是BGR颜色排布的数据。 接口调用 hilens.VideoCapture.read() 返回值 一帧视频数据。参数类型为numpy数组(dtype为uint8),兼容cv2。
传至OBS服务中。 准备数据 选择数据 在使用HiLens安全帽检测技能模板开发应用时,您需要新建训练数据集,后续训练模型操作是基于您创建的训练数据集。 选择数据 训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练安全帽检测模型。 训练模型 评估模型
管理数据 在数据管理中查看HDMI技能的数据时,为什么没有任何数据输出? 如何配置数据存储位置(OBS存储路径)? HDMI输出黑屏或者卡住是什么原因? 是否可以将HiLens Kit摄像头拍摄的画面或者技能运行结果录成视频保存下来? 如何不通过HDMI,使用其他方式输出技能结果?
输入模块简介 hilens::VideoCapture类 使用视频采集器来读取本地摄像头或IP摄像头的数据。 #include <video_capture.h> 构造及析构函数 ~VideoCapture() virtual hilens::VideoCapture::~VideoCapture()
使用SD卡 HiLens Kit是端云协同多模态AI开发套件,使用过程中会产生视频、图像等数据,通常情况下通过接口将数据存储在OBS。如果需要将数据存储在本地,由于HiLens Kit自带的硬盘空间有限,需要外插SD卡来存储。 操作步骤 SD卡插入HiLens Kit后面板接口“Micro
cv::Mat hilens::VideoCapture::Read() 返回值 如果是IPC或本地摄像头,则返回的是YUV_NV21的数据,如果是UVC摄像头,则返回BGR数据。 父主题: 视频输入模块
输入模块:负责视频、音频等输入数据的接入管理。 2 Media Processor 预处理模块:负责视频、音频等媒体数据的处理。 3 Model Manager 模型管理模块:负责模型的初始化与推断任务。 4 Output Manager 输出模块:负责流、文件、消息通知等输出任务的管理。 5 Resource
表1 公共响应消息头 参数名 说明 Content-Length 响应消息体的字节长度,单位为Byte。 Date 系统响应的时间。 Content-type 发送的实体的MIME类型。 父主题: 数据结构
输入模块简介 hilens::AudioCapture类 使用音频采集器来读取本地音频文件的数据,相关头文件已集成到“hilens.h”。 #include <hilens.h> 构造及析构函数 ~AudioCapture() virtual hilens::AudioCapture::~AudioCapture()
公共请求参数 表1 公共请求消息头 参数名 说明 必选 示例 Content-type 发送的实体的MIME类型。 是 application/json Content-Length 请求body长度,单位为Byte。 POST/PUT请求为可选, GET不包含。 3495 X-Auth-Token
设备注册完成后,您可在专业版华为HiLens平台的技能市场订购所需要的技能,拓展设备的AI能力。例如订购一个“人脸判断”技能,安装在设备上后,即可让设备具备判断人脸的能力。 图1 技能市场 首先,您可以在“技能市场”中,通过筛选、搜索等操作,查找您想要的技能。 如果“技能市场”有您需要的技能,您可以直接购买技能。
模型推理 模型初始化成功后,调用infer接口进行模型推理。灌入一组数据,并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名
如何购买HiLens Kit? HiLens Kit是多模态AI开发套件,支持通过端云协同实现图像、视频、语音等多种数据分析与推理计算,可广泛用于智能监控、智慧家庭、AI教育、智慧工业、智慧门店等应用场景。 华为HiLens支持HiLens Kit设备云上管理、实现云上技能开发和技能安装,您可以在华为云官网一次性购买HiLens
订购HiLens Kit HiLens Kit是多模态AI开发套件,支持通过端云协同实现图像、视频、语音等多种数据分析与推理计算,可广泛用于智能监控、智慧家庭、AI教育、智慧工业、智慧门店等应用场景。 华为HiLens支持HiLens Kit设备云上管理、实现云上技能开发和技能安装,您可以在华为云官网一次性购买HiLens
unsigned int size; }AudioFrame; 表1 参数说明 参数名 说明 data 输出参数,存放读取到音频数据的智能指针。 size 输出参数,读取到音频数据的大小。 n 输入参数,一次读取音频帧数,最大不超过512。 返回值 成功返回0,失败则返回-1,失败时可通过日志查看原因。
模型推理时,输出错误码17,是什么原因? 报错原因 输入的数据尺寸与模型要求的输入尺寸不一致,此时model.infer接口返回的是错误码,即int型的数字17。 解决措施 请检查您的模型输入和实际输入是否匹配,比如输入格式(YUV/RGB)、数据类型(float32/int8)。 例如,同
技能(Skill)是运行在端侧摄像头的人工智能应用,一般由模型和逻辑代码组成。其中,逻辑代码是技能的框架,负责控制技能的运行,包括数据读入、模型导入、模型推理、结果输出等;模型是人工智能算法经由大数据训练而成,负责技能运行中关键场景的推理。 华为HiLens的技能市场提供了丰富的技能供用户选择。 按应用场景划分,技