检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Id和Secret Access Key)。 “project_id”即项目ID,获取方式如下: 在“我的凭证”页面,单击“API凭证”,在“项目列表”中可查看项目ID和名称(即“项目”)。多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 图1 查看项目ID “region_n
iteration)*1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数,具体参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工
项即可。 自定义:如果对用户有更精细化的权限管理需求,可使用自定义模式灵活按需配置ModelArts创建的委托权限。可以根据实际需在权限列表中勾选要配置的权限。 勾选“我已经详细阅读并同意《ModelArts服务声明》”,单击“创建”,完成委托授权配置。 父主题: 配置ModelArts基本使用权限
弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object
iteration)*1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数,具体参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工
/bin/sh && ln -s /bin/bash /bin/sh 查看创建的用户,执行以下命令: id ma-user 如果出现以下信息则表示创建成功。 uid=1000(ma-user) gid=100(ma-group) groups=100(ma-group) 父主题: 基本配置
atch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考模型NPU卡数、梯度累积值取值表,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspeed-ZeRO-1替换为Deepspeed-ZeRO
出(预测项)。 除标签列外数据集中至少还应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。 训练数据的csv文件不能包含表头,否则会导致训练失败。 父主题: 准备数据
iteration)*1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数,具体参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工
iteration)*1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数,具体参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工
变为“运行成功”,即完成模型的自动训练。 训练完成后,您可以单击声音分类节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。 表1 评估结果参数说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。
VOC格式的XML标注文件以及Mask图像。 导出数据到OBS 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,选择“图片”类型的数据集,单击数据集名称进入“数据集概览页”。 在“数据集概览页”,单击右上角“导出 ”。在弹出的“导出”对话框中,填写
选择元模型:从OBS中选择一个模型包。 AI引擎:选择“Custom”。 引擎包:从容器镜像中选择一个镜像。 其他参数保持默认值。 单击“立即创建”,跳转到模型列表页,查看模型状态,当状态变为“正常”,模型创建成功。 图1 创建模型 单击模型名称,进入模型详情页面,查看模型详情信息。 部署服务并查看详情
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
排序位置和访问量,能更好的支撑用户使用该资产。 在镜像详情页,选择“镜像介绍”页签,单击右侧“编辑介绍”。 编辑镜像基础设置和镜像描述。 表1 镜像介绍的参数说明 参数名称 说明 基础设置 中文名称 显示镜像的名称,不可编辑。 README.md - 资产的README内容,支持
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
JobStep的输入在运行时配置;data字段也可使用data=wf.data.OBSPath(obs_path="fake_obs_path")表示 outputs=wf.steps.JobOutput(name="train_url",
针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”,默认进入“训练作业”列表。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法”。 启动方式:选择“自定义”。 镜像:选择上传的自定义镜像。
引擎包:从容器镜像中选择一个镜像。 容器调用接口:端口和协议可根据镜像实际使用情况自行填写。 其他参数保持默认值。 单击“立即创建”,跳转到AI应用列表页,查看AI应用状态,当状态变为“正常”,AI应用创建成功。 图1 创建AI应用 单击AI应用名称,进入AI应用详情页面,查看AI应用详情信息。
您也可以在导入数据集后,在标注数据操作时,添加或删除标签。 “只导入难例”:难例指manifest文件中的“hard”属性,勾选此参数,表示此导入操作,只导入manifest文件“hard”属性中数据信息。 图1 导入manifest文件 导入成功后,数据将自动同步到数据集中。