检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step4 测试用户权限 由于4中的权限需要等待15-30分钟生效,建议在配置完成后,等待30分钟,再执行如下验证操作。 使用用户组02中任意一个子账号登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码,请根据界面提示进行修改。
pip介绍及常用命令 pip常用命令如下: pip --help#获取帮助 pip install SomePackage==XXXX #指定版本安装 pip install SomePackage #最新版本安装 pip uninstall SomePackage #卸载软件版本
-zxvf ./benchmark/data.tgz ./benchmark/ 创建test-benchmark目录,该目录存放训练生成的权重文件及训练日志。 # 任意目录创建 mkdir test-benchmark 修改yaml文件参数中model_name_or_path、d
"job_config" : { "code_dir" : "/algo-test/pytorch/work1/code/", "boot_file" : "/algo-test/pytorch/work1/code/test-pytorch.py", "parameters"
本案例介绍如何在Snt9B上进行分布式训练任务,其中Cluster资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_
-inform DER -content D:\ma_cli-latest-py3-none-any.whl -noverify > ./test 本示例以软件包在D:\举例,请根据软件包实际路径修改。 Step3:安装ma-cli 在本地环境cmd中执行命令python --ve
MMLU、CEVAL】评测,执行过程如下: 获取到训练权重后使用ascendfactory-cli、eval接口用mmlu、ceval数据集对训练后的结果进行评测 test-benchmark目录目录下执行命令 ascendfactory-cli eval <cfgs_yaml_file>
创建工作空间。设置工作空间名称为“test-workspace”,授权类型为“internal”,授权的IAM用户名称为“test”。 POST https://{endpoint}/v1/{project_id}/workspaces { "name" : "test-workspace"
API概览 ModelArts服务所提供的接口均为自研接口。 通过ModelArts服务自研接口,您可以使用ModelArts Workflow、开发环境、训练管理、AI应用管理及服务管理功能。 工作流管理 表1 Workflow API 说明 获取Workflow列表 获取Workflow列表信息。
步骤一:准备工作 完成准备工作内容,生成ascendfactory-cli工具。 创建test-benchmark目录,该目录存放训练生成的权重文件及训练日志。 # 任意目录创建 mkdir test-benchmark 修改config目录下yaml文件中model_name_or
C:\Users\xxx>python --version Python *.*.* 检查是否已安装Python通用包管理工具pip。如果Python安装过程中没有安装通用包管理工具pip,则参见pip官网完成pip安装,推荐pip版本小于24.0。 在本地环境执行命令pip --version,显示如下内容说明pip已安装。
获取用户名和用户ID 在调用接口的时候,部分请求中需要填入用户名(user name)和用户ID(user_id)。获取步骤如下: 注册并登录管理控制台。 鼠标移动至用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面,查看“IAM用户名”和“IAM用户ID”。 图1 获取用户名和ID
删除工作空间 功能介绍 删除工作空间。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/workspaces/{workspace_id}
处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。(用户在输入test_count时,要小于 Excel文件中指定的不同conversation_id的个数 +
处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。(用户在输入test_count时,要小于 Excel文件中指定的不同conversation_id的个数 +
处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。(用户在输入test_count时,要小于 Excel文件中指定的不同conversation_id的个数 +
处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。(用户在输入test_count时,要小于 Excel文件中指定的不同conversation_id的个数 +
资源和引擎规格接口 查询资源规格列表 查询引擎规格列表 父主题: 训练管理
种形式,其本质都是通过ModelArts提供的REST风格的API接口进行请求。 ModelArts的接口均需要进行认证鉴权以此来判断是否通过身份认证。通过控制台发出的请求需要通过Token认证鉴权,调用API接口认证鉴权支持Token认证和AK/SK认证两种方式。 访问控制 M
下文以docker举例。仅做测试验证,可以不需要通过创建deployment或者volcano job的方式,直接启动容器进行测试。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。