检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Standard权限配置 样例 对应功能 场景 说明 ModelArts Standard权限管理 IAM权限配置、权限管理 为子账号配置权限 当一个华为云账号下需创建多个IAM子账号时,可参考此样例,为IAM子账号赋予使用ModelArts所需的权限。避免IAM子账号因权限问题导致使用时出现异常。 ModelArts
序执行部分运行节点。 部分运行Workflow节点,首先在新开发Workflow时,需要预先定义好部分运行场景。具体流程如下: 通过SDK创建工作流时,预先定义好部分运行场景,具体可参考在Workflow中指定仅运行部分节点。 在配置工作流时,打开“部分运行”开关,选择需要执行的
ModelArts训练时使用os.system('cd xxx')无法进入文件夹怎么办? 当在训练作业的启动脚本中使用os.system('cd xxx')无法进入相应的文件夹时,建议使用如下方法: import os os.chdir('/home/work/user-job-dir/xxx')
容器使用的GPU的型号。 account_name 训练、推理或开发环境任务创建者的账号名。 user_name 训练、推理或开发环境任务创建者的用户名。 task_creation_time 训练、推理或开发环境任务的创建时间。 task_name 训练、推理或开发环境任务的名称。 task_spec_code
ImportTaskStatusResp 参数 参数类型 描述 annotated_sample_count Long 已标注样本数量。 create_time Long 任务创建时间。 data_source DataSource object 数据来源。 dataset_id String 数据集ID。 elapsed_time
String 用户token。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 count Integer 不分页的情况下符合查询条件的总数量。 total_count Integer 当前查询结果的数量,不设置offset、limit查询参数时,count与total相同。
SDK已经集成在ModelArts开发环境Notebook中,可以直接使用,无需进行Session鉴权。 登录ModelArts控制台,在“开发空间 > Notebook”中创建Notebook实例,在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK,可直接
alpaca_text_document.bin alpaca_text_document.idx Alpaca数据处理具体操作 Alpaca数据处理具体操作步骤如下: 创建数据处理后的输出目录/home/ma-user/ws/processed_for_ma_input/BaiChuan2-13B/data/pretrain/。
原因:训练作业使用的镜像CUDA版本只支持sm_37、sm_50、sm_60和sm_70的加速卡,不支持sm_80。 处理建议:使用自定义镜像创建训练作业,并安装高版本的cuda以及对应的PyTorch版本。 查看训练作业的“日志”,出现报错“ERROR:root:label_map
中的问题。 使用步骤如下: 通过pip安装msprobe工具。 # shell pip install mindstudio-probe 创建配置文件config.json。 { "task": "grad_probe", "dump_path": "./dump_path"
27.so Error: Missing required dependencies. Please refer to our FAQ https://aka.ms/vscode-remote/faq/old-linux for additional information. 原因分析
qwen-vl.patch # 使用git apply修改模型相关代码 代码上传至OBS 代码包解压后,在OBS中创建mllm_train目录,并将train/<commit_id>上传至该目录中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代
OM配置短信、邮件等通知方式。 以下步骤基于AOM2.0配置。 登录AOM控制台。 在左侧导航栏选择“告警管理 > 告警规则”,单击“创建”,创建告警规则。 设置告警规则(以NPU掉卡为例)。 规则类型:选择“指标告警规则”。 配置方式:选择“PromQL”。 设置告警规则详情。
qwen-vl.patch # 使用git apply修改模型相关代码 代码上传至OBS 代码包解压后,在OBS中创建mllm_train目录,并将train/<commit_id>上传至该目录中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代
yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod,继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后,可通过以下命令获取所有已创建的pod信息。若pod已全部启动,则状态为:Running。 kubectl
√ √ https://huggingface.co/meta-llama/Llama-2-13b-chat-hf 6 llama2-70b √ √ √ √ √ https://huggingface.co/meta-llama/Llama-2-70b-hf https://huggingface
xxx 步骤一:准备工作 完成准备工作内容,生成ascendfactory-cli工具。 创建test-benchmark目录,该目录存放训练生成的权重文件及训练日志。 # 任意目录创建 mkdir test-benchmark 修改config目录下yaml文件中model_
xxx 步骤一:准备工作 完成准备工作内容,生成ascendfactory-cli工具。 创建test-benchmark目录,该目录存放训练生成的权重文件及训练日志。 # 任意目录创建 mkdir test-benchmark 修改config目录下yaml文件中model_
b/alpaca_text_document, 不加文件类型后缀。 Alpaca数据处理操作步骤 Alpaca数据处理具体操作步骤如下: 创建数据处理后的输出目录/home/ma-user/ws/processed_for_ma_input/Qwen-14B/data/pretrain/。
B/alpaca_text_document, 不加文件类型后缀。 Alpaca数据处理操作步骤 Alpaca数据处理具体操作步骤如下: 创建数据处理后的输出目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/。