检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh,并预测模型。基础镜像中默认提供了run.sh作为启动脚本。启动命令如下: sh run.sh 图6 运行启动脚本 上传一张预测图片(手写数字图片)到Notebook中。 图7 手写数字图片 图8 上传预测图片 重新打开一个新的Terminal终端,执行如下命令进行预测。 curl -kv -F
DUMP_GRAPH_LEVEL=2 # 1:表示dump图所有图。 2:表示dump除子图外的所有图。 3:表示只dump最后一张图。 问题分析。 配置以上的环境变量之后,再重新转换模型,导出对应的日志和dump图进行分析: 报错日志中搜到“not support
DUMP模型转换中间图。 设置DUMP中间图环境变量。 # 1:表示dump图全量内容。2:表示不dump权重数据的基础图。3:表示只dump节点关系的精简图。 export DUMP_GE_GRAPH=2 # 1:表示dump图所有图。2:表示dump除子图外的所有图。3:表示只dump最后一张图。
类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值 F1值是模型
在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,选择“预测”页签。 图5 上传预测图片 单击“上传”选择上传一张需要预测的图片,单击“预测”,即可在右边的预测结果显示区查看您的预测结果。 图6 查看预测结果(1)--没戴口罩 图7 查看预测结果(2)--戴口罩 后续操作:清除相应资源 在
blue bird"}' 执行成功显示: 图2 执行成功显示 在浏览器输入http://{宿主机ip}:8183,可以访问前端页面,通过输入文字生成图片。 图3 输入文字生成图片 注意需要勾选Enable Flash Attention按钮。 图4 Enable Flash Attention优化按钮
定为文件类,可包含图片、音频或视频等场景,可以在“预测”页签添加图片进行服务预测。 如果您的输入类型为图片,请注意测试服务单张图片输入应小于8MB。 JSON文本预测,请求体的大小不超过8MB。 因APIG(API网关)的限制,单次预测的时间不能超过40S。 图片支持以下类型:“
“subgraph tuning”:子图调优。 “operator tuning”:算子调优。 “subgraph tuning, operator tuning”:先进行子图调优,再进行算子调优。 推荐先进行子图调优,再进行算子调优,因为先进行子图调优会生成图的切分方式,子图调优后算子已经被切分
model_name String 模型名称。 model_usage Integer 模型用途。 1代表图像分类 2代表检测物体的类别和位置 3代表图像语义分割 4代表自然语言处理 5图嵌入 model_precision String 模型精度描述。 model_size Long 模型大小,单位为字节(Byte)。
visible_device_list = '0' with tf.Session(graph=tf.Graph(), config=config) as sess: meta_graph_def = tf.saved_model.loader.load(
确保OBS中的文件是非加密状态 上传图片或文件时不要选择KMS加密,否则会导致数据集读取失败。文件加密无法取消,请先解除桶加密,重新上传图片或文件。 图3 OBS桶中的文件未加密 检查图片是否符合要求 目前自动学习不支持四通道格式的图片。请检查您的数据,排除或删除四通道格式的图片。 检查标注框是否符合要求(物体检测)
应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示: 图1 推理服务访问公网 步骤一:ModelArts专属资源池打通VPC
更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法识别公网域名,请提交工单联系华为云技术支持打通网络。 父主题: 产品变更公告
出帮助建议。 graph:单独对推理dump的子图数据进行调优,并在分析完成后,给出相关建议到终端中,并生成“ma_advisor_graph_**.html”文件到执行目录中,目前暂不支持同时分析多卡推理性能数据: ma-advisor analyze graph --data
构建成功的镜像注册到镜像管理模块注册的镜像,如图8所示。 图8 变更镜像 启动变更后的Notebook,并打开。进入Terminal运行界面,在工作目录,运行启动脚本run.sh,并预测模型。基础镜像中默认提供了run.sh作为启动脚本。 图9 运行启动脚本 上传一张预测图片(手写数字图片)到Notebook中。
pipeline的最终输出结果确认迁移效果。如果精度和性能都没有问题,则代表迁移完成。 对比图片生成效果 在CPU上推理onnx,将原始onnx和适配完成的MindSpore Lite pipeline输出的结果图片进行对比,在这里保证输入图片及文本提示词一致。如果差异较为明显可以进行模型精度调优。 确认性能是否满足要求
py”。推理代码文件需存放在模型“model”目录。该字段不需要填,系统也能自动识别出model目录下的推理代码。公共参数 source_job_id 否 String 来源训练作业的ID,模型是从训练作业产生的可填写,用于溯源;如模型是从第三方元模型导入,则为空。默认值为空。非模板参数 model_type
作自定义镜像用于推理。 图1 模型的自定义镜像制作场景一 场景二: 预置镜像既不满足软件环境要求,同时需要放入模型包,在Notebook中通过Dockerfile制作。具体案例参考在Notebook中通过Dockerfile从0制作自定义镜像用于推理。 图2 模型的自定义镜像制作场景二
6:图像的高宽比与训练数据集的特征分布存在较大偏移。 7:图像的亮度与训练数据集的特征分布存在较大偏移。 8:图像的饱和度与训练数据集的特征分布存在较大偏移。 9:图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10:图像的清晰度与训练数据集的特征分布存在较大偏移。 11:图像的目标框数量与训练数据集的特征分布存在较大偏移。
ta-cat”。 如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该文件夹下,图片的目录结构如:“/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 图像分类数据集要求将标注对象和标注文件存储