检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
根据计算得出的iv值,企业A调整了训练使用的特征,没有选用双方提供的特征全集,去掉了部分iv值较低的特征,减少了无用的计算消耗。 父主题: 使用TICS可信联邦学习进行联邦建模
参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算法模型,后续文档会介绍如何使用已有的算法模型对新的数据进行预测。 父主题: 使用TICS可信联邦学习进行联邦建模
基于多方安全计算功能准备好合适的数据,本文主要介绍双方对已有的数据进行样本对齐、特征筛选和联邦建模,并对产生的模型进行评估。 父主题: 使用TICS可信联邦学习进行联邦建模
择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
其中为了保证数据安全,企业A和大数据厂商B通过讨论决定使用hash过后的手机号作为已有数据的唯一标识id字段,并将唯一标识作为数据对齐的依据。 父主题: 使用TICS可信联邦学习进行联邦建模
大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
可信数据融合和协同。 产品架构 产品架构如图1所示。 图1 产品架构 空间管理 邀请云租户作为数据提供方,动态构建可信计算空间,实现空间内严格可控的数据使用和监管。 数据融合分析 支持对接多个数据参与方的主流数据存储系统,为数据消费者实现多方数据的SQL Join等融合分析,各方
等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。 多方融合分析 对接多种主流数据存储系统,为数据消费者实现多方数据的融合分析,参与方敏感数据能够在聚合计算节点中实现安全计算。 多方联邦训练 对接主流深度学习框架实现横向和纵向联邦建模,支持基于SMPC(如不经意传输、同态加密等)的多方样本对齐和训练模型保护。
查询执行结果 功能介绍 查询学习类型作业执行结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/job-instances/{instance_id}/result 表1 路径参数 参数 是否必选 参数类型
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container
管理文件 文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。通过文件管理,参与方无需通过登录后台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数
析和联邦计算。TICS基于安全多方计算MPC、区块链等技术,实现了数据在存储、流通、计算过程中端到端的安全和可审计,推动了跨行业的可信数据融合和协同。 使用TICS的用户角色 根据人员的职能进行划分,使用TICS的用户主要可以分为以下两类。 组织方 面向熟悉业务并具有管理、决策、
政企信用联合风控 政府数据融合共治 由于数据安全以及隐私保护问题,政府各委办局数据尚未充分共享。多委办厅局数据的融合碰撞对于政府业务共治起到关键作用,例如本次疫情联防联控、综合治税等业务场景。共治场景均要实现在保护数据隐私的前提下,通过多个委办局数据的融合分析,得到数据碰撞结果,提升政府业务的治理效能。
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
则会影响部分功能使用。 资源分配策略 CPU(Cores) 用户可根据返回资源剩余规格,按照分析与学习需求,灵活分配核数。 内存(GiB) 用户可根据返回资源剩余规格,按照分析与学习需求,灵活分配内存。容器预留部分管理资源,作业可用内存最大值设置为内存数值的0.6倍,且向下取整。
创建纵向联邦学习作业 2021年3月 序号 功能名称 功能描述 阶段 相关文档 1 纵向联邦学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 公测 创建纵向联邦学习作业 2 联盟和计算节点支持自助升级
前往计算节点 进入计算节点管理界面后,选择左侧“实例管理”。 实例管理页面上方展示了计算节点资源使用概况,分别为当前节点的多方安全计算和可信联邦学习的CPU资源当前使用量,并每分钟刷新一次。下方列表默认优先展示失败状态的实例,可通过列表调整按照执行时间排序,并支持以下筛选条件: 实例ID:全匹配或前N位模糊匹配