检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#ppl精度测试脚本 执行如下命令进入容器。 kubectl exec -it {pod_name} bash ${pod_name}:pod名,例如图1${pod_name}为yourapp-87d9b5b46-c46bk。 精度评测切换conda环境,确保之前
"This is a ModelArts job" } 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "Illegal name: %%123"
模型导入成功。 Model imported successfully. - 正常 模型文件导入成功。 Model file imported successfully. - 正常 模型大小计算完成。 Model size calculated successfully. - 异常 模型导入失败。
oject_id}/training-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "Error string",
b-configs/test-trainconfig 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "Error string",
(此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。
aining-jobs/10/versions/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "Error string",
_id}/visualization-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "This job can't be delete
visualization-jobs/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "This job can't be stop
"This is a ModelArts job" } 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "Error string",
将打包好的压缩包传到本地: # run on terminal docker cp ${your_container_id}:/xxx/xxx/pytorch.tar.gz . 将pytorch.tar.gz上传到OBS并设置公共读,并在构建时使用wget命令获取、解压、清理。 构建新镜像。
g-jobs/10/versions/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message": "Error string",
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc
管理专属资源池的权限 系统策略 ModelArts Dependency Access ModelArts服务的常用依赖服务的权限 系统策略 通常来讲,只给管理员开通“ModelArts FullAccess”,如果不需要太精细的控制,直接给所有用户开通“ModelArts Co
查看日志 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志
调用创建ModelArts委托接口完成包含OBS、SWR等依赖服务的ModelArts委托。 调用配置授权接口配置ModelArts授权。该接口支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。 若没有授权,ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。
表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite k8s Cluster运行的,需要购买并开通k8s Cluster资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训
管理专属资源池的权限 系统策略 ModelArts Dependency Access ModelArts服务的常用依赖服务的权限 系统策略 通常来讲,只给管理员开通“ModelArts FullAccess”,如果不需要太精细的控制,直接给所有用户开通“ModelArts Co
String 操作失败的错误信息。 results Array of BatchResponse objects 向标注成员发送邮件的结果。 success Boolean 操作是否执行成功。可选值如下: true:执行成功 false:执行失败 表4 BatchResponse 参数 参数类型
s 响应示例 成功响应示例 { "is_success": true, "log_file_list": [ "teseJob.0" ] } 失败响应示例 { "is_success": false, "error_message":