检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
learning_rate 否 Float 学习率,最小值0,最大值1 batch_size 否 Integer 批大小,最小值1 epoch 否 Integer 迭代次数,最小值1 tree_num 否 Integer 树数量,最小值1 tree_depth 否 Integer 树深度,最小值1 split_num
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
根据计算得出的iv值,企业A调整了训练使用的特征,没有选用双方提供的特征全集,去掉了部分iv值较低的特征,减少了无用的计算消耗。 父主题: 使用TICS可信联邦学习进行联邦建模
reason”报错信息。 问题分析 该报错大概率是资源配额不足导致作业执行失败。 解决方案 如果是纵向联邦学习作业,您可以在该纵向联邦作业详情页面尝试新增内存配额和CPU配额,然后重新执行作业。 如果是横向联邦学习作业,您可以在该横向联邦作业详情页面尝试新增内存配额和CPU配额,然后保存、提交审批,等待审批通过后再重新执行作业。
基于多方安全计算功能准备好合适的数据,本文主要介绍双方对已有的数据进行样本对齐、特征筛选和联邦建模,并对产生的模型进行评估。 父主题: 使用TICS可信联邦学习进行联邦建模
参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算法模型,后续文档会介绍如何使用已有的算法模型对新的数据进行预测。 父主题: 使用TICS可信联邦学习进行联邦建模
其中为了保证数据安全,企业A和大数据厂商B通过讨论决定使用hash过后的手机号作为已有数据的唯一标识id字段,并将唯一标识作为数据对齐的依据。 父主题: 使用TICS可信联邦学习进行联邦建模
择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算; 支持控制流和数据流的分离
查询执行结果 功能介绍 查询学习类型作业执行结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/job-instances/{instance_id}/result 表1 路径参数 参数 是否必选 参数类型
实例类型、执行状态:列表筛选 图3 实例管理页面 在实例列表中,单击操作栏的“编辑”,可在弹出页面修改对应作业;单击操作栏的“查看结果”或者“作业报告”,可在弹出的页面查看执行结果和作业报告; 在实例列表中,查找待查看计算过程的作业,单击实例ID展开,在操作栏单击“计算过程”。 图4 在计算节点侧查看作业计算过程
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container
管理文件 文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。通过文件管理,参与方无需通过登录后台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数
功能描述 阶段 相关文档 1 纵向联邦学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 公测 创建纵向联邦学习作业 2 联盟和计算节点支持自助升级 在实际应用中,升级、回滚是一个常
护数据使用方的数据查询和搜索条件,避免因查询和搜索请求造成的数据泄露。 可信联邦学习 可信联邦学习是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模,曾经被称为联邦机器学习。 联邦预测作业 联邦预测作业在保障用户数据安全的前提下,利用多方数据和模型实现样本联合预测。