检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
缩容,或进入资源池详情页面,在指定空闲的节点上进行删除来实现缩容。 约束限制 只支持对状态为“运行中”的专属资源池进行扩缩容。 专属资源池不能缩容到0。 扩缩容专属资源池 资源池扩缩容有以下类型,分别为: 对已有规格增减目标总实例数 修改容器引擎空间大小 登录ModelArts管
类模型给出的调优建议较多,LLM类建议稍少,但是总体都有性能提升,实测大约可提升10%~30%的性能,并且已经在多个迁移性能调优项目中实际应用。 父主题: PyTorch迁移性能调优
image_version String 镜像版本。 请求示例 如下以查询北京四训练作业所有的公共引擎规格为例(引擎过多,只显示部分)。 GET https://endpoint/v2/{project_id}/training-job-engines 响应示例 状态码: 200 ok {
eqs参数,避免档位过大导致图编译错误。 MoE模型依赖MindSpeed,当使用MoE模型推理时,需提前安装: git clone https://gitee.com/ascend/MindSpeed.git cd MindSpeed git checkout a956b907
下: 规格:CPU: 8 核 32GB (modelarts.vm.cpu.8ud) 计算节点个数:1个 用了一段时间后,用户发现当前规格无法满足业务需要,于2023/03/20 9:00:00扩容规格增加1个节点(扩容后,共有2个节点)。因为该专属资源池打算长期使用下去,于2023/03/20
json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例,用户可直接编辑 scripts/llama2/2_convert_mg_hf
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging
json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例,用户可直接编辑 scripts/llama2/2_convert_mg_hf
json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例,用户可直接编辑 scripts/llama2/2_convert_mg_hf
json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 若用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中,否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging
描述 name 否 String 输出数据的名称。 type 否 String 输出项类型。枚举值如下: obs:OBS model:AI应用元模型 config 否 Map<String,Object> 输出配置。 表6 StepCondition 参数 是否必选 参数类型 描述
String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 查询资源池的节点列表。 GET https://{endpoint}/v2/{project_id}/pools/{pool_name}/nodes { } 响应示例 状态码:
String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 查询节点池的节点列表。 GET https://{endpoint}/v2/{project_id}/pools/{pool_name}/nodepools/{nodepool_name}/nodes
error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 查询资源规格列表。 GET https://{endpoint}/v1/{project_id}/resourceflavors { } 响应示例 状态码: 200 OK。
Integer GPU卡数。 gpu_memory String GPU内存。 type String GPU类型。 请求示例 GET https://{endpoint}/v1/{project_id}/notebooks/{id}/flavors 响应示例 状态码: 200 OK
step_title String 节点的Title。 status String 状态。 请求示例 查看Workflow工作流的待办事项。 GET https://{endpoint}/v2/{project_id}/workflows/todolist?workspace_id=0 响应示例
如以下查询training_job_id为5b60a667-1438-4eb5-9705-85b860e623dc的作业的所有trial的信息。 GET https://endpoint/v2/{project_id}/training-jobs/5b60a667-1438-4eb5-9705-85