检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样本对齐 单击右下角的下一步进入“样本对齐”页面,这一步是为了进行样本的碰撞,过滤出共有的数据交集,作为后续步骤的输入。企业A需要选择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
创建样本分布统计作业 创建样本分布统计作业步骤如下: 在“作业管理 > 多方安全计算”页面单击创建,进入sql开发页面,展开左侧的“合作方数据”可以看到企业A、大数据厂商B发布的不同数据集。 单击某一个数据集可以看到数据集的表结构信息。 此时企业A可以编写如下的sql语句统计双方
查询样本对齐结果 功能介绍 查询样本对齐结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/sample-alignment-result 表1 路径参数
使用TICS多方安全计算进行联合样本分布统计 场景描述 准备数据 发布数据集 创建样本分布统计作业 执行样本分布联合统计 数据优化 父主题: 纵向联邦建模场景
String 样本对齐算法。 OPRF, SQL_JOIN; datasets 否 Map<String,String> 样本对齐数据集 align_ids 否 Map<String,String> 样本对齐字段ID集合 agents 否 Array of strings 样本对齐agentId
执行样本分布联合统计 企业A单击“执行”并等待一段时间之后,可以在页面下方“执行结果”看到sql的运行结果。 也可以通过“作业管理 > 多方安全计算 > 历史作业 > 查看结果”查看对应的结果。 父主题: 使用TICS多方安全计算进行联合样本分布统计
碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。 父主题: 使用TICS多方安全计算进行联合样本分布统计
图1 模型部署 模型部署完成后,单击“发起预测”,在系统弹窗中填写要预测的“样本id”和“模型特征”对应的数值,然后单击“预测”,就会有系统弹窗弹出,显示预测结果。 注意:样本id从创建作业选择数据集的样本id列获取。 图2 发起预测 父主题: 实时预测
训练作业必须选择一个当前计算节点发布的数据集。 作业创建者的数据集必须含有特征。 创建纵向联邦学习作业 纵向联邦学习作业在本地运行,目前支持XGBoost算法、逻辑回归LR算法和FiBiNET算法。 纵向联邦学习分为五个步骤:数据选择、样本对齐(可选)、特征选择(可选)、模型训练、模型评估。 创建过程如下:
同特征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行可信联邦学习,联合建模。 概念术语
筛选特征 样本对齐执行完成后单击下一步进入“特征选择”页面,这一步企业A需要选出企业A自己和大数据厂商B的特征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练
本文主要介绍在进行建模之前,双方需要对已有的数据进行碰撞求交,找到双方共有的数据,了解数据的分布情况并为后续的建模做好调整。 父主题: 使用TICS多方安全计算进行联合样本分布统计
联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题: 计算节点API
大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS多方安全计算进行联合样本分布统计
横向评估型作业在作业配置页面单击“保存”按钮后,可以直接单击“执行”按钮。 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,查找待执行的作业,单击“执行”,系统自动跳转到“历史作业”页面。 图1 执行作业 等待执行完成,在“历史作
论决定使用hash过后的手机号作为已有数据的唯一标识id字段,并将唯一标识作为数据对齐的依据。 父主题: 使用TICS多方安全计算进行联合样本分布统计
执行ID选取截断 功能介绍 执行ID选取截断(样本粗筛) 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/idTruncation 表1 路径参数 参数
可信联邦学习作业 可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模,曾经也被称为联邦机器学习。 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行联邦机器学习,联合建模。
纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 公测 创建纵向联邦学习作业 2 联盟和计算节点支持自助升级 在实际应用中,升级、回滚是一个常见的场景,TICS能够很方便的支撑联盟和计算节点升级
联邦预测作业在保障用户数据安全、模型资产安全的前提下,利用多方数据和模型实现样本联合预测。 目前TICS支持两种类型的预测方式: 批量预测: 批量预测通过在计算节点后台发起离线预测任务的方式,在任务完成后可以获得指定数据集中所有样本的预测结果。 实时预测: 实时预测通过在计算节点部署在线预测服