检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 模型的初始权重,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据将会被执行的次数。评估型作业的迭代次数固定为1。 训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合,评估型作业的轮数固定为1。
横向联邦学习场景 TICS从UCI网站上获取了乳腺癌数据集Breast,进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集:基于医学图像中提取的若干特征,判断癌症是良性还是恶性,数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述
本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为TICS可信智能计算平台的横向联邦功能,实现在患者隐
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合。 重试 开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作业生效。 开关关闭后,关闭前已触发重试的作业不受影响,仅对关闭后的执行作业生效。 CPU配额 执行作业使用容器的CPU核数。 内存配额
空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加“管理员权限”配置。 约束限制 仅CCE计算节点支持横向训练作业对接MA。 MA纳管的CCE集群要和TICS的CCE计算节点在同一个VPC下。 注册MA资源池 用户登录进入计算节点页面。
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 description
Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imb
从上面两张表可以看出: (1)训练轮数对于联邦学习模型的性能影响不大,这主要是由于乳腺癌数据集的分类相对简单,且数据集经过了扩充导致的; (2)增大每个参与方本地模型训练的迭代次数,可以显著提升最终联邦学习模型的性能。 参与方数据量不同时,独立训练对比横向联邦训练的准确率 本节实验不再将训练集均匀划
可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。
基于TICS实现端到端的企业积分查询作业 简介 阶段一:数据发布 阶段二:隐私规则防护 阶段三:审批防护 阶段四:基本计算能力验证 阶段五:基于MPC算法的高安全级别计算 阶段六:统计型作业的差分隐私保护
简介 背景信息 本案例以“小微企业信用评分”的场景为例。 社保、水电气和资助金等数据统一存储在某政务云,由不同的局进行管理,机构想单独申请进行企业相关评分的计算会非常困难。 因此可以由市政数局出面,统一制定隐私规则,审批数据提供方的数据使用申请, 并通过华为TICS可信智能计算平台进行安全计算。
group by industry 统计分析型的作业,可能被作业执行方通过增删某个碰撞的id,得到两次作业之间的差值,从而推算出实际taxpay和water_fee。 开启空间中的差分隐私开关保护敏感数据,符合差分隐私条件的统计作业,会自动应用差分隐私算法对计算结果进行加噪保护,
阶段五:基于MPC算法的高安全级别计算 完成demo验证阶段,为提升数据保护级别,接入以纯密文的状态做计算的更高安全级别的数据,可以通过开启高隐私级别开关,提升空间安全级别。 图1 高隐私级别开关 再次单击作业,审批进行的同时敏感数据被进行了秘密分享加密。DAG图显示了“psi +
重复步骤1~7,发布support资助金数据表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 父主题: 基于TICS实现端到端的企业积分查询作业