检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集遵循的使用许可协议,根据业务需求选择合适的许可证类型。 语言 选择使用数据集时支持的输入输出语言。 任务类型 选择数据集支持用于什么类型的训练模型。 运行平台 选择数据集额外支持的运行平台。 设置运行平台后,当资产上架后,该资产支持通过订阅的方式同步到所选运行平台使用。 设置运行平台
Step3 为用户配置ModelArts的委托访问授权 配置完IAM权限之后,需要在ModelArts页面为子账号设置ModelArts访问授权,允许ModelArts访问OBS、SWR、IEF等依赖服务。 此方式只允许主用户为子账号进行配置。因此,本示例中,管理员账号需为所有用户完成访问授权的配置。
1%} |") 执行nvidia_smi + wapper + prettytable命令。 用户可以将GPU信息显示操作看作一个装饰器,在模型训练过程中就可以实时的显示GPU状态信息。 def gputil_decorator(func): def wrapper(*args
按节点比例:每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量:每批次驱动升级的实例数量为设置的实例数量。 对于不同的升级方式,滚动升级选择节点的策略会不同: 如果升级方式为安全升级,则根据滚动实例数量选择无业务的节点,隔离节点并滚动升级。 如果升级方式为强制升级,则根据滚动实例数量随机选择节点,隔离节点并滚动升级。
算法资源约束,可不设置。设置后,在算法使用于训练作业时,控制台会过滤可用的公共资源池。 advanced_config advanced_config object 算法高级策略: auto_search 表3 metadata 参数 参数类型 描述 id Integer 算法uuid,创建算法时无需填写。 name
NOTEBOOK:计费规格实例。 billing_items Array of strings 计费资源类型。枚举值: STORAGE:存储资源计费。 COMPUTE:计算资源计费。 ALL:所有计费类型 user user object 账号信息 表3 JobProgress 参数 参数类型 描述 notebook_id
NOTEBOOK:计费规格实例。 billing_items Array of strings 计费资源类型。枚举值: STORAGE:存储资源计费。 COMPUTE:计算资源计费。 ALL:所有计费类型 user user object 账号信息 表3 JobProgress 参数 参数类型 描述 notebook_id
NOTEBOOK:计费规格实例。 billing_items Array of strings 计费资源类型。枚举值: STORAGE:存储资源计费。 COMPUTE:计算资源计费。 ALL:所有计费类型 user user object 账号信息 表4 JobProgress 参数 参数类型 描述 notebook_id
如果资产详情页没有按钮,则表示该资产不支持使用Gallery CLI配置工具下载文件。 获取待下载的文件名 在AI Gallery页面的资产详情页,如果是模型资产,则选择“模型文件”页签,如果是数据集资产,则选择“文件版本”页签,获取“文件名称”。 下载单个文件 在服务器执行如下命令,可以从AI Gall
2u:Intel CPU通用规格,用于快速数据探索和实验。 modelarts.vm.cpu.8u:Intel CPU算力增强型,适用于密集计算场景下运算。 image_id 是 String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally
获取训练作业支持的AI预置框架 获取训练作业支持的AI预置框架。 AI应用管理接口 表10 AI应用管理接口 API 说明 查询模型runtime 查询模型AI引擎以及runtime。 创建AI应用 创建AI应用。 查询AI应用列表 查询AI应用列表,可以根据不同的检索参数进行查询。
ModelArts的数据清洗通过PCC算子实现。图像分类或者物体检测的数据集中可能存在非所需类别的图像,需要将这些图像去除掉,以免对标注、模型训练造成干扰。 图5 PCC算子效果 参数说明 表1 数据清洗-PCC算子参数说明 参数名 是否必选 默认值 参数说明 prototype_sample_path
NOTEBOOK:计费规格实例。 billing_items Array of strings 计费资源类型。枚举值: STORAGE:存储资源计费。 COMPUTE:计算资源计费。 ALL:所有计费类型 user user object 账号信息 表3 JobProgress 参数 参数类型 描述 notebook_id
选择“我参与的”,选择团队标注作业,单击作业名称进入“标注作业详情页”,单击右上角“团队标注>验收”,发起验收。 图5 发起验收 在弹出的对话框中,设置“抽样策略”,可设置为“按百分比”,也可以设置为“按数量”。设置好参数值后,单击“确定”启动验收。 “按百分比”:按待验收图片总数的一定比例进行抽样验收。
配置ModelArts委托权限 给用户配置ModelArts委托授权,允许ModelArts服务在运行时访问OBS等依赖服务。 使用华为云账号登录ModelArts管理控制台,在左侧导航栏单击“权限管理”,进入“权限管理”页面,单击“添加授权”。 在弹出的“添加授权”窗口中,选择:
提交训练作业报错“Invalid OBS path” 当运行训练作业时,出现“Invalid OBS path”错误。 图1 训练作业报错 该问题可以通过以下方法排查: 如果是首次使用ModelArts的新用户,需要登录ModelArts管理控制台,在权限管理页面完成访问授权配置
如何查看账号ID和IAM用户ID 使用IAM账号登录华为云。 在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方,单击“我的凭证”,进入“我的凭证”页面。 图2 我的凭证 在API凭证页面获取IAM用户名、用户ID、账号名和账号ID。
准备租户名ID和IAM用户名ID,用于OBS桶配置。 将您的租户名ID和IAM用户名ID提供给华为技术支持,华为云技术支持将根据您提供的信息,为您配置OBS桶策略,以便用户收集的日志可以上传至对应的OBS桶。 华为云技术支持配置完成后,会给您提供对应的OBS桶目录“obs_dir”,该目录用于后续配置的脚本中。
NOTEBOOK:计费规格实例。 billing_items Array of strings 计费资源类型。枚举值: STORAGE:存储资源计费。 COMPUTE:计算资源计费。 ALL:所有计费类型 user user object 账号信息 表8 JobProgress 参数 参数类型 描述 notebook_id
监控资源 用户可以通过资源占用情况窗口查看计算节点的资源使用情况,最多可显示最近三天的数据。在资源占用情况窗口打开时,会定期向后台获取最新的资源使用率数据并刷新。 操作一:如果训练作业使用多个计算节点,可以通过实例名称的下拉框切换节点。 操作二:单击图例“cpuUsage”、“g