检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示: 图1 推理服务访问公网 操作事项 ModelArts:设置资源池的网络 用户VPC:安装和配置正向代理 算法镜像:设置DNS代理和公网地址调用 ModelArts:设置资源池的网络
在JupyterLab中使用MindInsight可视化作业 ModelArts支持在开发环境中开启MindInsight可视化工具。在开发环境中通过小数据集训练调试算法,主要目的是验证算法收敛性、检查是否有训练过程中的问题,方便用户调测。 MindInsight能可视化展现出训练过程中的标量、图像、计算图以及模型超
自动学习模型训练图片异常? 使用自动学习的图像分类或物体检测算法时,标注完成的数据在进行模型训练后,训练结果为图片异常。针对不同的异常情况说明及解决方案参见表1。 表1 自动学习训练中图片异常情况说明(图像分类和物体检测) 序号 图片异常显示字段 图片异常说明 解决方案字段 解决方案说明
训练作业训练失败报错:TypeError: unhashable type: ‘list’ 问题现象 使用订阅算法图像分类-EfficientNetB4进行训练报错:TypeError: unhashable type: ‘list’。 原因分析 可能由于使用了多标签分类导致(即一个图片用了1个以上的标签)。
训练作业状态显示“审核作业初始化” 问题现象 当创建训练作业的“算法来源”选择“自定义”镜像创建训练作业时,训练作业状态显示审核作业初始化。 原因分析 自定义镜像首次运行时,需要先审核镜像,通过审核之后才可创建作业,即当前状态为审核作业初始化。 父主题: 业务代码问题
local_code_dir 否 String 算法的代码目录下载到训练容器内的本地路径。规则: 必须为/home下的目录。 v1兼容模式下,当前字段不生效。 当code_dir以file://为前缀时,当前字段不生效。 working_dir 否 String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。
搜索算法配置 ModelArts内置三种超参搜索算法,用户可以根据实际情况选择对应的算法,支持多选。对应的算法和参数解析请参考以下: bayes_opt_search:贝叶斯优化(SMAC) tpe_search:TPE算法 anneal_search:模拟退火算法(Anneal)
#HEADER_testheader matches 'mock.*' 示例三: 当预测的http请求的header中存在uid且其哈希值符合指定的分桶算法时,可匹配到这条规则。 #HEADER_uid.hashCode() % 100 < 10 图2 通过Header访问不同版本
ToolKit创建并调试训练作业。 创建算法 创建算法 创建生产训练作业之前,需要先准备算法,可以是用户自己准备的算法,也可以使用从AI Gallery订阅的算法。 创建生产训练作业 训练作业基础功能 ModelArts Standard支持通过Console控制台的可视化界面创建训练作业,创建时基于算法来源和训
print(engine_dict) 使用案例 主要包含七种场景的用例: 使用订阅自AI Gallery的算法 使用算法管理中的算法 使用自定义算法(代码目录+启动文件+官方镜像) 使用自定义算法(代码目录+脚本命令+自定义镜像) 基于数据集版本发布节点构建作业类型节点 作业类型节点结合可视化能力
到模型时的输出(预测项)。 除标签列外数据集中至少还应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。 当前由于特征筛选算法限制,预测数据列建议放在数据集最后一列,否则可能导致训练失败。 声音分类对数据集的要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。
“我的订阅”:可以查看个人订阅的算法信息,如发布者、应用控制台、剩余配额等。通过右侧的“取消订阅”或“找回订阅”可以管理已订阅的算法。取消订阅后,ModelArts管理控制台算法管理模块-我的订阅列表中将不再展示该算法。已取消订阅的算法可以找回订阅,并在原配额约束下可以继续使用该算法。 我的资产 >
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(
Pytorch Mox日志反复输出 问题现象 ModelArts训练作业算法来源选用常用框架的Pytorch引擎,在训练作业运行时Pytorch Mox日志会每个epoch都打印Mox版本,具体日志如下: INFO:root:Using MoXing-v1.13.0-de803ac9
否 String 算法管理的算法id。 name 否 String 算法名称。无需填写。 subscription_id 否 String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id 否 String 订阅算法的版本。应与subscription_id一同出现。
您可以单击编辑图标,更新训练作业的描述。 “作业优先级” 显示训练作业的优先级。 训练作业参数 表2 训练作业参数 参数 说明 “算法名称” 本次训练作业使用的算法。单击算法名称,可以跳转至算法详情页面。 “预置镜像” 本次训练作业使用的预置镜像框架。仅使用预置框架创建的训练作业才有该参数。 “自定义镜像”
选择创建方式(使用我的算法) 如果选择使用已有算法创建训练作业,则“创建方式”选择“我的算法”,在算法列表中选择算法。如果没有满足条件的算法,也可以新建算法,具体操作请参见创建算法。 选择创建方式(使用订阅算法) 如果选择使用订阅算法创建训练作业,则“创建方式”选择“我的订阅”,在算法列表中选
数据分析 数据集创建完成后,可以基于图片各项特征,如模糊度、亮度等进行分析,帮助用户更好的分析数据集的数据质量,判断数据集是否满足自己的算法和模型要求。 创建特征分析任务 在执行特征分析前,需先发布一个数据集版本。在“数据集概览”页单击右上角的“发布”,为数据集发布一个新版本。
美-圣地亚哥 使用订阅算法开发模型 ModelArts的AI Gallery上存在较多开发者分享的算法,不需要进行代码开发,即可使用现成的算法进行模型构建。 使用订阅算法开发模型教程 使用自定义算法开发模型 如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练,可以考虑使用
使用PyCharm Toolkit插件连接Notebook 由于AI开发者会使用PyCharm工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成SSH远程连接N