检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts平台提供了Tensorflow,PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。
ModelArts平台提供了Tensorflow,PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表 ModelArts中预置的训练基础镜像如下表所示。
约束限制 仅IEF计算节点支持创建横向评估型作业。 创建可信联邦学习评估型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。 这里提供了一些将无
t9处理器的AI训练服务器,实现完全自主可控,广泛应用于深度学习模型开发和AI训练服务场景,可单击此处查看硬件三维视图。 Atlas 800训练服务器HCCN Tool Atlas 800 训练服务器 1.0.11 HCCN Tool接口参考主要介绍集群网络工具hccn_tool
learning_rate 否 Float 学习率,最小值0,最大值1 batch_size 否 Integer 批大小,最小值1 epoch 否 Integer 迭代次数,最小值1 tree_num 否 Integer 树数量,最小值1 tree_depth 否 Integer 树深度,最小值1 split_num
用子账号进行创建的,需要参考配置CCE集群子账号权限。 创建可信联邦学习训练型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具:Megatron-LM和DeepSpeed,可在具有分布式计算能力的系统上进行训练,并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatron
(秒) 166 167 216 从上面两张表可以看出: (1)训练轮数对于联邦学习模型的性能影响不大,这主要是由于乳腺癌数据集的分类相对简单,且数据集经过了扩充导致的; (2)增大每个参与方本地模型训练的迭代次数,可以显著提升最终联邦学习模型的性能。 参与方数据量不同时,独立训练对比横向联邦训练的准确率
在计算节点侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准) 父主题: 可信联邦学习作业
学习路径和在线课程是什么关系? 学习路径是基于学员角色或学习场景等定制的循序渐进的学习体系、推荐的个性化方案课程,帮助您从海量基础在线课程中迅速定位所需课程、开启云上热门技术之旅;在线课程即华为云开发者学堂提供的基础培训课程。 父主题: 华为云培训常见问题
数据集版本不合格 出现此问题时,表示数据集版本发布成功,但是不满足自动学习训练作业要求,因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。
试卷管理 试卷创建完成后,可以在考试任务、学习项目、学习任务、新员工培训、学习地图等功能里面引用该试卷 入口展示 图1 入口展示 创建试卷 操作路径:培训-考试-试卷管理-新建试卷 图2 新建试卷 图3 填写试卷信息 图4 添加试题 父主题: 培训管理
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
BdId BD ID。 MacLimitMaxMac 配置的可以学习到MAC的最大数。 对系统的影响 当超过MAC地址表项限制时,设备不再学习新的MAC表项。 可能原因 学习的动态MAC数目超过了限制MAC表规则中规定的最大MAC学习的数目。 处理步骤 正常提示信息,无需处理。 参考信息
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
VLAN ID。 MacLimitMaxMac 配置的可以学习到MAC的最大数。 对系统的影响 当超过MAC地址表项限制时,设备不再学习新的MAC表项。 可能原因 学习的动态MAC数目超过了限制MAC表规则中规定的最大MAC学习的数目。 处理步骤 删除不需要的MAC,或者在VLAN视图下执行命令mac-address
L2IfPortName 接口名字。 MacLimitMaxMac 配置的可以学习到MAC的最大数。 对系统的影响 当超过MAC地址表项限制时,设备不再学习新的MAC表项。 可能原因 学习的动态MAC数目超过了限制MAC表规则中规定的最大MAC学习的数目。 处理步骤 删除不需要的MAC,或者在VLAN视图下执行命令mac-address
告警类型 MacDynAddressLearnNum 当前学习到的mac数 MacLimitMaxMac 配置的可以学习到的最大数 L2IfPortName 接口名 对系统的影响 不再学习新的MAC。 可能原因 端口或VLAN学习到的MAC数达到设置的mac数。 处理步骤 请根据告警
learning_rate 否 Float 学习率,最小值0,最大值1 batch_size 否 Integer 批大小,最小值1 epoch 否 Integer 迭代次数,最小值1 tree_num 否 Integer 树数量,最小值1 tree_depth 否 Integer 树深度,最小值1 split_num