检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
横向联邦学习场景 TICS从UCI网站上获取了乳腺癌数据集Breast,进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集:基于医学图像中提取的若干特征,判断癌症是良性还是恶性,数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述
纵向联邦操作步骤枚举值。DATA_SELECTION.数据选择,SAMPLE_ALIGNMENT.样本对齐,FEATURE_SELECTION.特征选择,MODEL_TRAIN.模型训练,MODEL_EVALUATION.模型评估,MODEL_PREDICT.预测 learning_rate 否 String 纵向联邦算法学习率,最大长度16
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
纵向联邦操作步骤枚举值。DATA_SELECTION.数据选择,SAMPLE_ALIGNMENT.样本对齐,FEATURE_SELECTION.特征选择,MODEL_TRAIN.模型训练,MODEL_EVALUATION.模型评估,MODEL_PREDICT.预测 learning_rate String 纵向联邦算法学习率,最大长度16
参数 是否必选 参数类型 描述 job_instance_type 是 String 作业实例类型,最大长度32。SQL,HFL,VFL_TRAIN,VFL_EVALUATE,VFL_FEATURE_SELECTION,VFL_SAMPLE_ALIGNMENT,VFL_PREDICT
场景描述 背景信息 本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为TI
实例id,最大32位,由字母和数字组成 job_instance_type 是 String 纵向联邦作业类型。 SQL, HFL, VFL_TRAIN, VFL_EVALUATE, VFL_ID_TRUNCATION, VFL_FEATURE_SELECTION, VFL_SAMPLE_ALIGNMENT
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
实例id,最大32位,由字母和数字组成 job_instance_type 否 String 纵向联邦作业类型。 SQL, HFL, VFL_TRAIN, VFL_EVALUATE, VFL_ID_TRUNCATION, VFL_FEATURE_SELECTION, VFL_SAMPLE_ALIGNMENT
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
查看作业计算过程和作业报告 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,
横向联邦训练作业对接MA 前提条件 MA Lite资源池已创建完毕。 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择存储方式和数据目录,参考4.1 部署计算节点。 空间成员完成数据集准备工作,参考准备本地横向联邦数据资源。 空间成员在数据目录中完成数据发布,参考4
数据准备 乳腺癌数据集从UCI获取,该数据集只包含连续类型特征,因此对所有特征使用Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集
实例id,最大32位,由字母和数字组成 job_instance_type 是 String 纵向联邦作业类型 SQL, HFL, VFL_TRAIN, VFL_EVALUATE, VFL_ID_TRUNCATION, VFL_FEATURE_SELECTION, VFL_SAMPLE_ALIGNMENT
实例id,最大32位,由字母和数字组成 job_instance_type 是 String 纵向联邦作业类型。 SQL, HFL, VFL_TRAIN, VFL_EVALUATE, VFL_ID_TRUNCATION, VFL_FEATURE_SELECTION, VFL_SAMPLE_ALIGNMENT
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
乳腺癌数据集作业结果 本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20)
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业