检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必填项,数据集的英文名称。 如果没有填写“中文名称”,则资产发布后,在数据集页签上会显示该“英文名称”。 中文名称 数据集的中文名称。 如果填写了“中文名称”,则资产发布后,在数据集页签上会显示该“中文名称”。 许可证 数据集资产遵循的使用协议,根据业务需求选择合适的许可证类型。 描述 填写资产简介,数
开发场景选择页面,如图3所示。选择合适的开发场景,并选择工作目录后,进入训练作业代码存储路径选择界面,单击“使用OBS”或“使用SFS”,填写OBS或SFS路径,单击“确定”。选择此路径后,会自动同步在“高级配置>中转目录”,也可单击“稍后决定”直接跳过。 线下开发:代码在本地,
Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,云上挂载路径需要填写为“/home/ma-user/work”。 单击“提交”,在“信息确认”页面,确认训练作业的参数信息,确认无误后单击“确定”。
ame} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-ModelArts-User-ID
本案例场景为单机单卡场景下使用Notebook进行代码调试,数据和代码存储在OBS服务的并行文件系统下,调试完成过后可保存镜像。 使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 添加开发环境使用权限和依赖服务SWR权限。在统一身份认证服务页面的左侧导航选择“权限管理
e_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件,需要在代码目录下,如:“/usr/app/boot.py”。应与app_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。
""" os.environ['MASTER_ADDR'] = '127.0.0.1' os.environ['MASTER_PORT'] = '29500' dist.init_process_group(backend, rank=rank, world_size=size)
odes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 nodepool_name 是 String 节点池名称。 表2 Query参数
odes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String
如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置
如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤2 修改训练超参配置
Server提供不同型号的xPU裸金属服务器,您可以通过弹性公网IP进行访问,在给定的操作系统镜像上可以自行安装加速卡相关的驱动和其他软件,使用SFS或OBS进行数据存储和读取相关的操作,满足算法工程师进行日常训练的需要。请参见弹性裸金属Lite Server。 ModelArts Lite
/v2/{project_id}/pools 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspaceId 否 String 工作空间ID。获取方法请参见查询工作
如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤2 修改训练超参配置
快速开始 ModelArts SDK目前仅支持在ModelArts开发环境Notebook和本地PC两种环境使用。 ModelArts SDK不支持在训练作业和在线服务中使用。 ModelArts SDK已经集成在ModelArts开发环境Notebook中,可以直接使用,无需进行Session鉴权。
add_argument('--init_method', default=None, help='tcp_port')”中的init method参数值会包含主节点的ip和端口,由平台自动入参,不需要用户输入主节点的ip和端口。 父主题: 分布式模型训练
入“创建标注作业”页面,根据需求创建不同类型的标注作业。 填写标注作业基本信息,标注作业的“名称”和“描述”。 根据您的需求,选择“标注场景”和“标注类型”。 图1 选择标注场景和标注类型 针对不同类型的标注作业,需填写参数不同,请参考如下类型标注作业对应的参数介绍。 图片(图像分类、物体检测、图像分割)
的时间和频率。支持秒、分钟、小时和每天/每周/月的时间设置。 支持参数化执行:允许用户在运行时向Notebook传递参数,使得Notebook能根据不同需求调整行为。 任务管理界面:提供用户友好的界面,便于查看、添加和删除定时任务。 任务执行记录:记录每次执行任务的状态和输出,方便后续查看和调试。
# 算法订阅版本ID,也可直接填写版本号 parameters=[] ), # 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分算法超参的值如果无需修改,则在parameters字段中可以不填写,系统自动填充相关超参值 inputs=wf
Arts计算资源费用和对象存储、云硬盘等基础资源费用组成。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 适用的功能模块 计算资源费用 计费因子:包括vCPU、GPU和NPU。 按需计费的资源,按购买规格和时长计费 包年/包月的资源,按购买规格和周期计费 按需计费 包年/包月