检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TF-1.13.1-python3.6 TF-2.1.0-python3.6 PyTorch-1.4.0-python3.6 下文将介绍如何在训练中使用评估代码。对训练代码做一定的适配和修正,分为三个方面:添加输出目录、复制数据集到本地、映射数据集路径到OBS。 添加输出目录
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径 obs_data_dir=
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径 obs_data_dir=
sh封装训练外的文件复制工作(数据、代码:OBS-->容器,输出结果:容器-->OBS),run.sh的构建方法参考在ModelArts Standard使用run.sh脚本实现OBS和训练容器间的数据传输。 如果预置脚本调用结果不符合预期,可以在容器实例中进行修改和迭代。 针对专属池场景 由于专属池支持SFS挂载
#已创建的PVC名称 restartPolicy: OnFailure 双个节点训练的config.yaml文件模板,用于实现双机分布式训练。 apiVersion: v1 kind: ConfigMap metadata: name: configmap1980-vcjob
#已创建的PVC名称 restartPolicy: OnFailure 双个节点训练的config.yaml文件模板,用于实现双机分布式训练。 apiVersion: v1 kind: ConfigMap metadata: name: configmap1980-vcjob
#已创建的PVC名称 restartPolicy: OnFailure 双个节点训练的config.yaml文件模板,用于实现双机分布式训练。 apiVersion: v1 kind: ConfigMap metadata: name: configmap1980-vcjob
安装docker。 如果挂载了GPU,则会安装nvidia-docker2,用以将GPU挂载到docker容器中。 制作自定义镜像 这一节描述如何编写一个Dockerfile,并据此构建出一个新镜像在Notebook创建实例并使用。关于Dockerfile的具体编写方法,请参考官网。
editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。该功能暂未实现。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表11 i18n_description
editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。该功能暂未实现。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表10 i18n_description
<<< "$RANKTABLE_RESULT" MASTER_ADDR="$VC_MAIN_HOSTS" MASTER_PORT=6060 NNODES="$NNODES" NODE_RANK="$NODE_RANK" NPUS_PER_N
<<< "$RANKTABLE_RESULT" MASTER_ADDR="$VC_MAIN_HOSTS" MASTER_PORT=6060 NNODES="$NNODES" NODE_RANK="$NODE_RANK" NPUS_PER_N
的先安装,写在后面的后安装),且支持线下wheel包安装(wheel包必须与模型文件放在同一目录)。示例请参考导入模型时安装包依赖配置文件如何书写? health 否 health数据结构 镜像健康接口配置信息,只有“model_type”为“Image”时才需填写。 如果在滚动
editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。该功能暂未实现。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表13 i18n_description
sh封装训练外的文件复制工作(数据、代码:OBS-->容器,输出结果:容器-->OBS),run.sh的构建方法参考在ModelArts Standard使用run.sh脚本实现OBS和训练容器间的数据传输。 如果预置脚本调用结果不符合预期,可以在容器实例中进行修改和迭代。 针对专属池场景 由于专属池支持SFS挂载
可选配置,如果访问DWS数据需要配置。 表15 专属资源池管理基础委托授权 业务场景 依赖的服务 委托授权项 说明 通过关联sfsturbo功能实现专属资源池和SFS Turbo资源打通。 SFS Turbo sfsturbo:shares:showShareNic sfsturbo:
} } } ], "initial_config" : "{\"protocol\":\"http\",\"port\":\"8080\",\"health\":{\"check_method\":\"HTTP\",\"protocol\":\"http\"
EVAL:指明该对象用于评估。 TEST:指明该对象用于测试。 INFERENCE:指明该对象用于推理。 如果没有给出该字段,则使用者自行决定如何使用该对象。 id 否 此参数为系统导出的样本id,导入时可以不用填写。 annotation 否 如果不设置,则表示未标注对象。anno