检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新网络资源 功能介绍 更新指定网络资源。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PATCH /v1/{project_id}/networks/{network_name}
删除网络资源 功能介绍 删除指定网络资源。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/networks/{network_name}
Numpy等,常用的工具软件,例如cuda,cudnn等,满足AI开发常用需求。 预置Conda环境:每个预置镜像都会创建一个相对应的Conda环境和一个基础Conda环境python(不包含任何AI引擎),如预置MindSpore所对应的Conda环境如下。 用户可以根据是否
重,例如DeepSeek-V3在转换前权重约为640G左右,在转换后权重约为1.3T左右。 创建文件存放目录 在每台Server机器上创建一个目录${path-to-file},例如:/home/data/,用于存放权重文件和rank_table_file.json文件。 方式一
计费工作流订阅包信息。 表3 WorkflowStep 参数 是否必选 参数类型 描述 name 是 String Workflow工作流节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 type 否 String 节点的类型,枚举值如下:
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
服务启动失败 问题现象 当服务事件中出现如下事件时,表示容器启动失败。 图1 服务启动失败 原因分析 服务启动失败的原因比较多样,可能有如下几种情况: AI应用本身问题,无法启动 镜像中配置的端口错误 健康检查配置有问题 模型推理代码customize_service.py编写有问题
资源类型:ModelArts支持查询的资源类型如表1所示。 资源标签:不填写标签时,表示查询所有资源,无论此资源是否有配置标签。选择相应标签查询资源,用户可以通过多个标签组合查询资源使用情况。 表1 ModelArts的资源类型 资源类型 说明 ModelArts-Notebook ModelArts的
json及NPU环境生成的stack.json文件,is_print_compare_log配置是否开启日志打屏。 多卡场景区别于单卡场景会在步骤2按rank标号信息生成多个rank的dump文件结果,npu_path指定NPU环境生成包含多rank目录,gpu_path指定标杆环境包含多rank目录,is_p
object 执行记录使用到的执行策略。 表8 StepExecution 参数 参数类型 描述 step_name String 节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时,后台自动生成。
multi-step 什么是multi-step vLLM的调度和输入准备的CPU开销可能会导致NPU利用率不足,开启multi-step调度可以有效解决这个问题,开启multi-step调度后会在执行一次调度和输入准备后,连续n步运行模型。通过NPU在n步之间连续处理,而无需等
multi-step 什么是multi-step vLLM的调度和输入准备的CPU开销可能会导致NPU利用率不足,开启multi-step调度可以有效解决这个问题,开启multi-step调度后会在执行一次调度和输入准备后,连续n步运行模型。通过NPU在n步之间连续处理,而无需等
object 执行记录使用到的执行策略。 表3 StepExecution 参数 参数类型 描述 step_name String 节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时,后台自动生成。
计费工作流订阅包信息。 表5 WorkflowStep 参数 参数类型 描述 name String Workflow工作流节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 type String 节点的类型,枚举值如下:
获取训练作业事件列表 功能介绍 获取训练作业事件列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-j
Cluster资源池节点故障如何定位 故障说明和处理建议 图1 Lite池故障处理流程 对于ModelArts Lite资源池,每个节点会以DaemonSet方式部署node-agent组件,该组件会检测节点状态,并将检测结果写到K8S NodeCondtition中。同时,节点
企业项目 创建开发环境实例 POST /v1/{project_id}/notebooks modelarts:notebook:create ecs:serverKeypairs:create swr:repository:getNamespace swr:repository:listNamespace
参数 参数类型 描述 name String 网络名称;用户接口通过指定网络名称创建网络,系统会自动创建子网,用户无法创建子网。默认将创建在第一个子网下。 表13 PoolDriver 参数 参数类型 描述 gpuVersion String GPU驱动版本,物理资源池中含有GPU规格时可填,例如:"440
参数 参数类型 描述 name String 网络名称;用户接口通过指定网络名称创建网络,系统会自动创建子网,用户无法创建子网。默认将创建在第一个子网下。 表13 PoolDriver 参数 参数类型 描述 gpuVersion String GPU驱动版本,物理资源池中含有GPU规格时可填,例如:"440
服务当前运行所用配置的更新时间,距“1970.1.1 0:0:0 UTC”的毫秒数。 debug_url String 在线服务在线调试地址,只有当模型支持在线调试且只有一个实例的时候会存在。 due_time Number 在线服务自动停止时间,距“1970.1.1 0:0:0 UTC”的毫秒数,未配置自动停止则不返回。