检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
depend_steps=[condition_step] ) # 通过JobStep来定义一个训练节点,并将训练结果输出到OBS job_step_2 = wf.steps.JobStep( name="training_job_2", # 训练节点的名称,命名规范
obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点,并将训练结果输出到OBS job_step = wf.steps.JobStep( name="training_job", # 训练节点的名称,命名规范
原因分析 实例连接错误,可能是配置文件写的不规范导致连接到别的实例。 解决方案 检查用户.ssh配置文件(路径一般在“C:\Users\{User}\.ssh\config”下),检查每组配置文件是否规范:Host必须放在每组配置的第一行,作为每组配置的唯一ID。
约束与限制 关于自定义镜像规范和说明,请参见模型镜像规范。 使用容器化部署,导入的元模型有大小限制,详情请参见导入模型对于镜像大小限制。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。
操作流程如下: 本地构建镜像:在本地制作自定义镜像包,镜像包规范可参考创建AI应用的自定义镜像规范。 本地验证镜像并上传镜像至SWR服务:验证自定义镜像的API接口功能,无误后将自定义镜像上传至SWR服务。
Notebook中无法打开“checkpoints”文件夹 checkpoints是Notebook的关键字,如果用户创建文件夹命名为checkpoints,则在JupyterLab上无法打开、重命名和删除。
属性总览 您可以使用JobStep来构建作业类型节点,JobStep结构如下 表1 JobStep 属性 描述 是否必填 数据类型 name 作业节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一个Workflow
为了规范对数据集的使用,适配各个使用场景,同时兼顾数据集管理的灵活性,本文档描述数据集管理的接口和描述规范——Manifest文件。 Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息,没有标注信息,如生成的未标注的数据集。
操作流程如下: 本地构建镜像:在本地制作自定义镜像包,镜像包规范可参考创建模型的自定义镜像规范。 本地验证镜像并上传镜像至SWR服务:验证自定义镜像的API接口功能,无误后将自定义镜像上传至SWR服务。
OBS模型包规范 模型包的名字必须为model。模型包规范请参见模型包规范介绍。 文件大小规范 当使用公共资源池时,SWR的镜像大小(指下载后的镜像大小,非SWR界面显示的压缩后的镜像大小)和OBS模型包大小总和不大于30G。
操作步骤 参考如下Dockerfile,修改已有镜像,使其符合模型训练的自定义镜像规范。 FROM {已有镜像} USER root # 如果已存在 gid = 100 用户组,则删除 groupadd 命令。
keras官方文档中说明参数“lr”已重命名为“learning_rate”,在训练代码中必须写成“learning_rate”才能调用成功。keras官方文档请参见https://github.com/keras-team/keras/releases/tag/2.3.0。
PyTorch模型包结构可参考模型包规范介绍。
从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。 父主题: Standard数据准备
预置镜像里面包含PyTorch,Tensorflow,MindSpore等常用AI引擎框架,镜像命名以AI引擎为主,并且每个镜像里面都预置了很多常用包,用户可以直接使用而无需重新安装。
图2 volcano资源争抢 解决方法: 通过打印所有Pod的信息,并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod,通过delete的方式删除,但随后会自动重新启动。
图2 volcano资源争抢 解决方法: 通过打印所有Pod的信息,并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod,通过delete的方式删除,但随后会自动重新启动。
WebSocket协议在2011年由IETF标准化为RFC 6455,后由RFC 7936补充规范。Web IDL中的WebSocket API由W3C标准化。 WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。
图2 volcano资源争抢 解决方法: 通过打印所有Pod的信息,并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod,通过delete的方式删除,但随后会自动重新启动。
解决方法: 通过打印所有Pod的信息,并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod,通过delete的方式删除,但随后会自动重新启动。