检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。
场景描述 有效的风险控制能够消灭或减少风险事件发生的各种可能性,或减少风险事件发生时造成的损失,对于企业具有重要意义。现阶段,企业级的单方风控体系已逐步建立,在机构内数据统一共享的基础上实现了覆盖业务前、中、后各环节的智能风控。然而,单方数据风控面临存在数据不全面、风控不及时的问题。随
发布数据集 企业A和企业B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 以企业A为例,数据集信息如下: 隐私求交场景需要将求交的字段设置为“非敏感”的唯一标识。 父主题: 隐私求交黑名单共享场景
作业描述可按需填写。 勾选参与双方的数据集,同时单击右侧已选数据集的对齐列框选择需要求交集的字段信息。 对齐列只能选择非敏感的唯一标识。 选择求交算法。 选择椭圆曲线。 选择大数据量节点。 配置重试参数。开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作业生效。开关关闭后
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4
发布数据集 企业B分别自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 企业B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 外部数据共享
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将TICS资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用TICS服务的其它功能。
样本对齐 单击右下角的下一步进入“样本对齐”页面,这一步是为了进行样本的碰撞,过滤出共有的数据交集,作为后续步骤的输入。企业A需要选择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
至此,企业A完成了整个TICS联邦建模的流程,并将模型应用到了营销业务当中。这个预测作业可以作为后续持续预测的依据,企业A可以定期地使用模型预测自己的新业务数据。同时企业A也可以根据新积累的数据训练出新的模型,进一步优化模型预测的精确率,再创建新的联邦预测作业,产出更精准的预测结果供业务使用。 父主题:
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征
本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为TICS可信智能计算平台的横向联邦功能,实
支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算;
数据商业空间中公司B针对公司A的某些数据资产存在业务需求,由于安全性和数据主权的考虑,公司A与公司B基于TICS完成数据资产的交换。基于TICS进行数据资产交换,保证公司A的数据主权、公司B的数据可获得,同时保证交换过程安全可信。 以下是数据拥有方公司A和数据需求方公司B基于TICS平台的操作。 父主题:
创建联邦预测作业 企业A单击“联邦预测 > 批量预测 > 创建”按钮,进入联邦预测作业的创建页面。企业A需要通过“算法类型”、“训练作业”等筛选条件可以找到用于预测的模型,点选使用的模型后单击“确定”按钮即完成联邦预测作业的创建。 父主题: 使用TICS联邦预测进行新数据离线预测
查看结果”看到隐私求交作业的运行结果,包括交集的大小和交集文件的路径。 打开obs到指定目录下查看,可以看到有两个结果文件,其中一个是交集记录的序号alignedIds.csv,另一个是交集记录的id alignedOriginalIds.csv。 alignedIds.csv的内容如下: 1
Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imb
从上面两张表可以看出: (1)训练轮数对于联邦学习模型的性能影响不大,这主要是由于乳腺癌数据集的分类相对简单,且数据集经过了扩充导致的; (2)增大每个参与方本地模型训练的迭代次数,可以显著提升最终联邦学习模型的性能。 参与方数据量不同时,独立训练对比横向联邦训练的准确率 本节实验不再将训练集均匀划
作业发起方通过计算节点提供的控制台页面,发起多方安全计算作业。 多方安全计算作业在TICS中进行解析和任务计划构建,并下发任务给各个数据参与方所在的计算节点。 参与方计算节点从租户侧网络内的数据中获取数据,并使用安全算法进行加密输出。 数据在TICS提供的服务器中进行机密计算。 最