检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
法请参见获取项目ID和名称。 service_id:服务ID,在服务详情页可查看。 REGION_ENDPOINT:服务的终端节点,查询请参见终端节点。 def get_app_info(project_id, service_id): list_host_endpoints_url
法请参见获取项目ID和名称。 service_id:服务ID,在服务详情页可查看。 REGION_ENDPOINT:服务的终端节点,查询请参见终端节点。 def get_app_info(project_id, service_id): list_host_endpoints_url
结合as_input的能力提供给后续节点使用。 当模型训练需要更新数据时,可以使用数据集导入节点先导入新的数据,然后再通过该节点发布新的版本供后续节点使用。 属性总览 您可以使用ReleaseDatasetStep来构建数据集版本发布节点,ReleaseDatasetStep结构如下:
批量删除节点 功能介绍 批量删除指定资源池中的节点,资源池中至少保留一个节点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_i
节点池管理 查询节点池列表 创建节点池 查询指定节点池详情 更新节点池 删除节点池 查询节点池的节点列表
批量重启节点 功能介绍 批量重启指定资源池中的节点 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/pools/{pool
是采用数据占位符的方式进行编写,您可以在工作流启动之前对参数进行配置,自由度更高。 基于数据集版本发布节点构建作业类型节点 使用场景:数据集版本发布节点的输出作为作业类型节点的输入。 from modelarts import workflow as wf # 定义数据集对象 dataset
创建Workflow节点 创建Workflow数据集节点 创建Workflow数据集标注节点 创建Workflow数据集导入节点 创建Workflow数据集版本发布节点 创建Workflow训练作业节点 创建Workflow模型注册节点 创建Workflow服务部署节点 父主题: 开发Workflow命令参考
description 模型注册节点的描述信息 否 str policy 节点执行的policy 否 StepPolicy depend_steps 依赖的节点列表 否 Step或者Step的列表 表2 ModelInput 属性 描述 是否必填 数据类型 name 模型注册节点的输入名称,只能包
demo workflow", steps=[dataset_import] ) 场景三:基于数据集创建节点构建数据集导入节点。数据集创建节点的输出作为数据集导入节点的输入。 from modelarts import workflow as wf # 通过DatasetIm
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装,实现新版数据集的创建功能。主要用于通过创建数据集对已有数据(已标注/未标注)进行统一管理的场景,后续常见数据集导入节点或者数据集标注节点。 属性总览 您可以使用CreateDatasetStep
outputs 服务部署节点的输出列表 是 ServiceOutput或者ServiceOutput的列表 title title信息,主要用于前端的名称展示 否 str description 服务部署节点的描述信息 否 str policy 节点执行的policy 否 StepPolicy
创建Workflow数据集标注节点 功能介绍 通过对ModelArts数据集能力进行封装,实现数据集的标注功能。数据集标注节点主要用于创建标注任务或对已有的标注任务进行卡点标注,主要用于需要对数据进行人工标注的场景。 属性总览 您可以使用LabelingStep来构建数据集标注节点,LabelingStep结构如下:
硬盘限制故障 下载或读取文件报错,提示超时、无剩余空间 复制数据至容器中空间不足 Tensorflow多节点作业下载数据到/cache显示No space left 日志文件的大小达到限制 日志提示"write line error" 日志提示“No space left on device”
批量对节点功能解锁 功能介绍 批量对节点功能解锁,被上锁的功能在控制台不能正常使用,解锁后恢复正常。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2
String 节点当前状态。可选值如下: Available:节点可用 Creating:节点创建中 Deleting:节点删除中 Abnormal:节点不正常 Checking: 节点自检中 az String 节点所在的可用区。 privateIp String 节点的IP地址。
在ModelArts侧进行节点重置后,modelarts-os会向节点添加准入污点,进行节点准入,而因为集群volcano没有污点容忍,且集群内只有一个节点,导致volcano无法启动,进而导致modelarts-os节点上管理污点的maos-node-agent容器无法启动,使得污点无法被自动清理。 处理方法 (推
批量对节点功能上锁 功能介绍 批量对节点功能上锁,被上锁的功能在控制台不能正常使用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{projec
A050801 节点管理 节点运维 资源预留。 节点被标记为备机,并具有备机污点。 A050802 节点管理 节点运维 未知错误。 节点被标记为具有未知故障污点。 A200001 节点管理 驱动升级 GPU升级。 节点正在执行GPU驱动升级。 A200002 节点管理 驱动升级 NPU升级。
以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点训练:训练过程中的loss打印在最后一个节点上。 图2 Loss收敛情况(示意图) 父主题: 主流开源大模型基于Lite Server适配ModelLink