检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。
搜索请求造成的数据泄露。 可信联邦学习 可信联邦学习是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模,曾经被称为联邦机器学习。 联邦预测作业 联邦预测作业在保障用户数据安全的前提下,利用多方数据和模型实现样本联合预测。 可信智能计算节点 数据参与方使
reason”报错信息。 问题分析 该报错大概率是资源配额不足导致作业执行失败。 解决方案 如果是纵向联邦学习作业,您可以在该纵向联邦作业详情页面尝试新增内存配额和CPU配额,然后重新执行作业。 如果是横向联邦学习作业,您可以在该横向联邦作业详情页面尝试新增内存配额和CPU配额,然后保存、提交审批,等待审批通过后再重新执行作业。
"result_ext" : "" } 状态码 状态码 描述 200 查询执行结果成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
根据计算得出的iv值,企业A调整了训练使用的特征,没有选用双方提供的特征全集,去掉了部分iv值较低的特征,减少了无用的计算消耗。 父主题: 使用TICS可信联邦学习进行联邦建模
大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算; 支持控制流和数据流的分离
期。评估通过后,单击“保存并执行”,完成对评估/预测数据的处理和生成。 图10 生成处理后的评估/预测数据 发布预处理后的评估/预测数据集。在预处理作业列表,单击“发布”可以将作业生成的评估/预测数据集发布到空间。生成后的评估/预测数据集即可用于纵向联邦作业及其他作业(不建议用于
已发布区域:北京四、北京二 如何创建多方安全计算作业? 可信联邦学习作业 可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模,曾经也被称为联邦机器学习。 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情
计算节点管理 2021年7月 序号 功能名称 功能描述 阶段 相关文档 1 联邦预测 新增支持联邦预测作业。联邦预测作业在保障用户数据安全的前提下,利用多方数据和模型实现样本联合预测。 公测 联邦预测作业 2 联邦分析新增union all语法 安全多方计算MPC扩展语法支持union
纵向联邦建模场景 使用TICS多方安全计算进行联合样本分布统计 使用TICS可信联邦学习进行联邦建模 使用TICS联邦预测进行新数据离线预测 父主题: 使用场景
此即为离散特征编码。 图1 数据集样例 数据预处理通常被用于评估和预测场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。 前提条件 已提前准备好训练数据,和评估/预测数据。 存在未参与其他预处理作业的结构化数据集,且在创建数据集时已定义
获取用户token 可信计算节点管理 连接器管理 数据集注册管理 任务管理 通知管理 数据集管理 多方安全计算作业管理 可信联邦学习作业管理 联邦预测作业管理 作业实例管理 联邦学习作业管理
用于管理通知。 数据集管理 用于管理数据集。 多方安全计算作业管理 用于管理多方安全计算作业。 联邦学习作业管理 用于管理可信联邦学习作业。 联邦预测作业管理 用于管理批量联邦预测作业。 作业实例管理 本接口用于查询实例执行状态。
查询执行结果 功能介绍 查询学习类型作业执行结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/job-instances/{instance_id}/result 表1 路径参数 参数 是否必选 参数类型
作业实例拆解出的更细粒度任务。 多方安全计算 允许多合作方参与的结构化数据SQL分析作业。 可信联邦学习 允许多合作方参与的模型训练、评估作业。 联邦预测学习 允许多合作方参与的样本联合预测作业。 存储方式 指计算节点所属的CCE或IEF容器的工作负载,目前支持“OBS存储”和“主机存
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container