检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本中包含恶意行为,包含但不限于非授权访问其他作业数据、篡改文件和配置、恶意消耗容器资源等场景时,会影响到数据提供方的计算环境安全以及其他学习作业的正常执行。 针对该问题,在边缘节点部署场景中,TICS通过构建Python安全沙箱来单独运行横向联邦作业,做到作业运行的安全隔离。 验证安全沙箱防护能力
联邦学习作业管理 查询联邦学习作业列表 父主题: 空间API
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。
用子账号进行创建的,需要参考配置CCE集群子账号权限。 创建可信联邦学习训练型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
(秒) 166 167 216 从上面两张表可以看出: (1)训练轮数对于联邦学习模型的性能影响不大,这主要是由于乳腺癌数据集的分类相对简单,且数据集经过了扩充导致的; (2)增大每个参与方本地模型训练的迭代次数,可以显著提升最终联邦学习模型的性能。 参与方数据量不同时,独立训练对比横向联邦训练的准确率
约束限制 仅IEF计算节点支持创建横向评估型作业。 创建可信联邦学习评估型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
在计算节点侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准) 父主题: 可信联邦学习作业
learning_rate 否 Float 学习率,最小值0,最大值1 batch_size 否 Integer 批大小,最小值1 epoch 否 Integer 迭代次数,最小值1 tree_num 否 Integer 树数量,最小值1 tree_depth 否 Integer 树深度,最小值1 split_num
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
learning_rate 否 Float 学习率,最小值0,最大值1 batch_size 否 Integer 批大小,最小值1 epoch 否 Integer 迭代次数,最小值1 tree_num 否 Integer 树数量,最小值1 tree_depth 否 Integer 树深度,最小值1 split_num
企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced
训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算法模型,后
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
于标签的识别没有区分度,可以不选用;而f0、f2特征的iv值中等,适合作为模型的训练特征。 根据计算得出的iv值,企业A调整了训练使用的特征,没有选用双方提供的特征全集,去掉了部分iv值较低的特征,减少了无用的计算消耗。 父主题: 使用TICS可信联邦学习进行联邦建模
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
"result_ext" : null } 状态码 状态码 描述 200 查询样本对齐结果成功 401 操作无权限 500 内部服务器错误 父主题: 联邦学习作业管理
d964d274" } 状态码 状态码 描述 200 执行ID选取截断作业成功 401 操作无权限 500 内部服务器错误 父主题: 联邦学习作业管理