检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样本对齐 单击右下角的下一步进入“样本对齐”页面,这一步是为了进行样本的碰撞,过滤出共有的数据交集,作为后续步骤的输入。企业A需要选择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
查询样本对齐结果 功能介绍 查询样本对齐结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/sample-alignment-result 表1 路径参数
String 样本对齐算法。 OPRF, SQL_JOIN; datasets 否 Map<String,String> 样本对齐数据集 align_ids 否 Map<String,String> 样本对齐字段ID集合 agents 否 Array of strings 样本对齐agentId
创建样本分布统计作业 创建样本分布统计作业步骤如下: 在“作业管理 > 多方安全计算”页面单击创建,进入sql开发页面,展开左侧的“合作方数据”可以看到企业A、大数据厂商B发布的不同数据集。 单击某一个数据集可以看到数据集的表结构信息。 此时企业A可以编写如下的sql语句统计双方
执行样本分布联合统计 企业A单击“执行”并等待一段时间之后,可以在页面下方“执行结果”看到sql的运行结果。 也可以通过“作业管理 > 多方安全计算 > 历史作业 > 查看结果”查看对应的结果。 父主题: 使用TICS多方安全计算进行联合样本分布统计
同特征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行可信联邦学习,联合建模。 概念术语
参数名 参数描述 XGBoost 学习率 控制权重更新的幅度,以及训练的速度和精度。取值范围为0~1的小数。 树数量 定义XGBoost算法中决策树的数量,一个样本的预测值是多棵树预测值的加权和。取值范围为1~50的整数。 树深度 定义每棵决策树的深度,根节点为第一层。取值范围为1~10的整数。
本文主要介绍在进行建模之前,双方需要对已有的数据进行碰撞求交,找到双方共有的数据,了解数据的分布情况并为后续的建模做好调整。 父主题: 使用TICS多方安全计算进行联合样本分布统计
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
参数名 参数描述 XGBoost 学习率 控制权重更新的幅度,以及训练的速度和精度。取值范围为0~1的小数。 树数量 定义XGBoost算法中决策树的数量,一个样本的预测值是多棵树预测值的加权和。取值范围为1~50的整数。 树深度 定义每棵决策树的深度,根节点为第一层。取值范围为1~10的整数。
使用TICS多方安全计算进行联合样本分布统计 场景描述 准备数据 发布数据集 创建样本分布统计作业 执行样本分布联合统计 数据优化 父主题: 纵向联邦建模场景
碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。 父主题: 使用TICS多方安全计算进行联合样本分布统计
型。 图1 模型部署 模型部署完成后,单击“发起预测”,在系统弹窗中填写要预测的“样本id”和“模型特征”对应的数值,然后单击“预测”,就会有系统弹窗弹出,显示预测结果。 注意:样本id从创建作业选择数据集的样本id列获取。 图2 发起预测 父主题: 实时预测
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS多方安全计算进行联合样本分布统计
联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题: 计算节点API
执行ID选取截断 功能介绍 执行ID选取截断(样本粗筛) 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/idTruncation 表1 路径参数 参数
息。 乳腺癌数据集统计信息。 统计量 取值 特征数目 30 xx医院的训练样本数目 7366 其他机构的训练样本数目 7366 测试集样本数目 7257 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点
分,从而探究当参与方数据量不同时,模型性能的变化情况。具体划分如下所示。实验中训练轮数固定为10,迭代次数固定为50。 参与方持有的样本数目信息 Host所持样本占比(%) Host样本数 Guest样本数 0.2 2946 11786 0.4 5892 8840 0.6 8839
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
筛选特征 样本对齐执行完成后单击下一步进入“特征选择”页面,这一步企业A需要选出企业A自己和大数据厂商B的特征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练