检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。 父主题: 横向联邦学习场景
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
查询样本对齐结果 功能介绍 查询样本对齐结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/sample-alignment-result 表1 路径参数
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
执行ID选取截断 功能介绍 执行ID选取截断(样本粗筛) 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/idTruncation 表1 路径参数 参数
保存纵向联邦作业 功能介绍 保存纵向联邦作业 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
执行样本对齐 功能介绍 执行样本对齐 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/sampleAlignment 表1 路径参数 参数 是否必选 参数类型
查询特征选择执行结果 功能介绍 查询特征选择执行结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/features-selection-result
获取纵向联邦作业详情 功能介绍 获取纵向联邦作业详情 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
乳腺癌数据集作业结果 本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20)
开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准) 父主题: 可信联邦学习作业
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。
执行纵向联邦模型训练作业 功能介绍 执行纵向联邦模型训练作业 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/execute 表1 路径参数 参数 是否必选
reason”报错信息。 问题分析 该报错大概率是资源配额不足导致作业执行失败。 解决方案 如果是纵向联邦学习作业,您可以在该纵向联邦作业详情页面尝试新增内存配额和CPU配额,然后重新执行作业。 如果是横向联邦学习作业,您可以在该横向联邦作业详情页面尝试新增内存配额和CPU配额,然后保存、提交审批,等待审批通过后再重新执行作业。
执行纵向联邦分箱和IV计算作业 功能介绍 执行纵向联邦分箱和IV计算作业 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/ivcalculate 表1
首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模