检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具，使用该工具可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命
已经在OBS上创建好并行文件系统，请参见创建并行文件系统。 已经在obsutil安装和配置，请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地，并解压。 通过obsutil将数据集上传至OBS桶中。 ./obsutil cp ./dog_cat_1w obs://${your_obs_buck}/demo/
com/obsutil/current/obsutil_linux_amd64.tar.gz #tar -xzvf obsutil_linux_amd64.tar.gz && mv obsutil_linux_amd64_*/ utils #alias obsutil='/opt/utils/obsutil' #obsutil
查询训练作业参数详情 功能介绍 查看指定的训练作业参数详情。 URI GET /v1/{project_id}/training-job-configs/{config_name} 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型 说明 project_id 是 String
本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下： 建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考obsutil安装和配置。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker
时卡点配置。 否 bool description 参数描述信息。 否 str enum_list 参数枚举值列表，只有当参数类型为PlaceholderType.ENUM时才需要填写。 否 list constraint 参数相关的约束配置，当前该字段仅支持训练规格的约束，且用户不感知。
上传数据至OBS（首次使用时需要） 前提条件 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节，构建容器镜像并调试，镜像构建及调试与单机单卡相同。 上传镜像，参考单机单卡训练的上传镜像章节操作。
大，推荐先通过obsutil工具将数据集传到OBS桶后，再将数据集迁移至SFS。 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。 # 将本地数据传至OBS中 # ./obsutil cp ${数据集所在的本地文件夹路径} ${存放数据集的obs文件夹路径} -f
公共参数 状态码 错误码 获取项目ID和名称 获取帐号名和帐号ID 获取用户名和用户ID
sion同时出现。 表4 parameter属性列表 参数 是否必选 参数类型 说明 label 否 String 参数名称。 value 否 String 参数值。 响应消息 响应参数如表5所示。 表5 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。
中创建.ipynb文件，并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径 obs_data_dir= "obs://<bucket_name>/data" # NoteBook存放数据路径
查询训练作业参数列表 功能介绍 根据指定条件查询用户创建的训练作业参数。 URI GET /v1/{project_id}/training-job-configs 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户
在下面的指导步骤中，会展开进行详细的解释。 如果用户希望自定义参数进行训练，可直接编辑对应模型的训练脚本，可编辑参数以及详细介绍如下。以llama2-13b预训练为例： 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home
sion同时出现。 表4 parameter属性列表 参数 是否必选 参数类型 说明 label 否 String 参数名称。 value 否 String 参数值。 响应消息 响应参数如表5所示。 表5 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。
配置了跳过策略，并且都使用参数进行控制。当参数值配置不同时，model_step的执行可以分为以下几种情况（model_step没有配置跳过策略，因此会遵循默认规则）： job_step_a_is_skip参数值 job_step_b_is_skip参数值 model_step是否执行
骤请参考下载和安装obsutil。 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点地址（Endpoint）和访问密钥（AK和SK）。获得OBS的认证后，才能使用obsutil执行OBS桶和对象的相关操作，具体步骤请参考初始化配置。 配置完成
上述说明仅罗列OBS常用的使用方式和工具，更多OBS工具说明，请参见《OBS工具指南》。 创建桶 桶是OBS中存储对象的容器，在上传对象前需要先创建桶。OBS提供多种使用方式，您可以根据使用习惯、业务场景选择不同的工具来创建桶。具体参考OBS文档创建桶章节。 上传对象 桶创建成功后，您
删除训练作业参数 功能介绍 删除训练作业参数。 URI DELETE /v1/{project_id}/training-job-configs/{config_name} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String
$DIS_DATA_PATH && wget $OBSUTIL_PATH && tar -xzvf obsutil_linux_amd64.tar.gz && $DIS_DATA_PATH/obsutil_linux_amd64*/obsutil share-cp $SRC_DATA_PATH
单击“创建Notebook”，进入“创建Notebook”页面，请参见如下说明填写参数。 填写Notebook基本信息，包含名称、描述、是否自动停止，详细参数请参见表1。 表1 基本信息的参数描述 参数名称 说明 “名称” Notebook的名称。只能包含数字、大小写字母、下划线和中划线，长度不能大于64位且不能为空。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
