检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码后,重新导入模型进行预测。 经典案例:在线服务预测报错MR.0105 出现其他情况,优先检查客户端和外部网络是否有问题。 以上方法均未解决问题,请联系系统管理员。 父主题: 服务预测
创建项目的时候,数据集输入位置没有可选数据 可能原因 创建的OBS桶与创建项目不在同一个区域。 账号没有配置全局授权。 OBS桶里的数据格式不符合要求。 解决方法 查看ModelArts创建的项目与创建的OBS桶是否在同一区域。 查看创建的OBS桶所在区域。 登录OBS管理控制台。 进入“对象存
error_code String 调用失败时的错误码,具体请参见错误码,调用成功时无此字段。 error_solution String 调用失败时的提示解决信息,调用成功时无此字段。 父主题: 训练作业
行时,会自动对Cann软件与Ascend驱动的版本匹配情况进行检查。如果平台发现版本不匹配,则会立即训练失败,避免后续无意义的运行时长。 解决方案 专属资源池的Ascend驱动版本需与训练基础镜像中的Cann软件版本版本匹配。 ModelArts上支持的Ascend驱动版本可以在
包,如下图,安装之前跑通的老版本即可。 图1 PIP安装对比图 推荐您使用本地Pycharm远程连接Notebook调试。 如果上述情况都解决不了,请联系技术支持工程师。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。
当数据集存在较多数据文件(即海量小文件),数据存储在OBS中,训练过程需反复从OBS中读取文件,导致训练过程一直在等待文件读取,效率低。 解决方法 建议将海量小文件,在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。 训练时,可直接从OBS下载此压缩文件至/
的技术文章。 我的实践 展示个人报名参加的实践活动列表。 合作伙伴 展示伙伴的申请信息以及伙伴在Gallery中的申请状态。 解决方案 展示伙伴发布的解决方案列表。 我的需求 展示个人发布的需求列表。 我的导出 展示个人导出的资产列表。只有以管理员账号登录才会显示此模块。 我的资料
在开发环境(notebook)申请相同规格的开发环境实例。 在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。, 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码,在问题代码段添加打印,输出更详细的日志信息。 再次运行作业,判断出问题的代码段。
再新建实例。 镜像下线后是否可以继续基于该镜像新建实例? 镜像下线后无法使用该镜像新建实例,界面不会呈现了。 镜像下线后用户还想继续使用,怎么办? 如果想长期使用该镜像,建议用户在镜像下线前保存自定义镜像使用,镜像下线后不会影响自定义镜像使用。 父主题: 下线公告
检查报错的路径是否为OBS路径 检查报错的路径是否存在 找不到启动文件,可能是训练作业启动命令的路径填写不正确,参考使用自定义镜像创建训练作业时,检查启动文件路径排查解决。 可能为多个进程或者worker读写同一个文件。如果使用了SFS,则考虑是否多个节点同时写同一个文件。分析代码中是否存在多进程写同一文件
请求URI 参数 说明 URI-scheme 传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 承载REST服务端点的服务器域名或IP,不同服务在不同区域时,对应Endpoint不同,可以从终端节点中获取。 例如IAM服务在“华北-北京一”区域的Endpoint为“iam
据处理和数据标注能力。 图1 ModelArts数据准备全流程 ModelArts数据管理为用户准备高质量的AI数据提供了以下主要能力: 解决用户获取数据的问题。 用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据管理。 提供多种数据接入方式,支持用户从
作为基础服务之一,经过持续迭代已经无法完全满足众多开发者的新特性需求。基于服务演进,ModelArts团队已于2021年上线新版训练,力求解决存在的历史问题,并为新特性提供高性能、高易用、可扩展、可演进的底座,给用户提供更好的AI训练体验,打造易用、高效的AI平台。 下线旧版训练管理对现有用户的使用是否有影响?
绪”时表示模型可以使用。 图4 进入“订阅应用” 当订阅的模型状态长时间未显示“就绪”状态,可以参考案例订阅的AI应用一直处于等待同步状态解决。 步骤三:使用订阅模型部署在线服务 模型订阅成功后,可将此模型部署为在线服务。 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。
<镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组织名称>:前面步骤中自己创建的组织名称。示例:ma-group <镜像名称>:<版本名称>:定义镜像名称。示例:p
作业详情页提示作业疑似卡死。如需检测到卡死后发送通知(短信、邮件等)请在作业创建页面配置事件通知。 常见案例 训练作业卡死常见现象的案例和解决方案如下: 复制数据卡死 训练前卡死 训练中途卡死 训练最后一个epoch卡死 父主题: 模型训练高可靠性
不满足以上镜像规范,所制作的镜像使用可能会出现故障,请用户检查镜像规范,并参考Notebook自定义镜像故障基础排查自行排查,如未解决请联系华为技术工程师协助解决。 操作流程 准备一台Linux环境,这里以ECS为例。 在ECS中构建镜像(本文档提供了Dockflie样例文件)。 将构建的镜像推到SWR。
<镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组织名称>:前面步骤中自己创建的组织名称。示例:ma-group <镜像名称>:<版本名称>:定义镜像名称。示例:p
<镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组织名称>:Step3中自己创建的组织名称。示例:GROUP_NAME <镜像名称>:<版本名称>:定义镜像名称。示
NCCL是一个提供GPU间通信原语的库,实现集合通信和点对点发送/接收原语。当训练作业出现NCCL的报错时,可以通过调整NCCL的环境变量尝试解决问题。 处理步骤 进入状态“运行失败”的训练作业详情页,单击“日志”页签,查看NCCL报错。 如果出现报错“NCCL timeout”或者“RuntimeError: