检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用子账号进行创建的,需要参考配置CCE集群子账号权限。 创建可信联邦学习训练型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
约束限制 仅IEF计算节点支持创建横向评估型作业。 创建可信联邦学习评估型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题: 计算节点API
/v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,最大32位,由字母和数字组成 league_id 是 String
large_data_agent 否 String 大数据量参与方agentId,最大32位,由字母和数字组成 job_creation_agent 否 String 作业发起方代理ID,最大32位,由字母和数字组成 encrypted_res 否 Boolean 作业是否加密保存结果 external_param
联邦学习作业管理 查询联邦学习作业列表 父主题: 空间API
/v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,最大32位,由字母和数字组成 league_id 是 String
作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。 父主题: 横向联邦学习场景
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
DatasetFeatureEntity 参数 是否必选 参数类型 描述 agent_id 是 String 数据集所属agent id dataset_name 是 String 数据集名称 features 是 Array of strings 数据集特征集合 表5 ModelParamVo 参数 是否必选 参数类型
首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
Array of strings 数据集特征集合 表5 VerticalFlExternalParam 参数 是否必选 参数类型 描述 dp.enabled 是 Boolean 是否启用差分隐私 dp.epsilon 是 Float 差分隐私隐私预算 dp.output.threshold
其中为了保证数据安全,企业A和大数据厂商B通过讨论决定使用hash过后的手机号作为已有数据的唯一标识id字段,并将唯一标识作为数据对齐的依据。 父主题: 使用TICS可信联邦学习进行联邦建模
大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
/v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/idTruncation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,最大32位,由字母和数字组成 league_id 是 String