检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
查询训练作业下的成功模型 功能介绍 查询训练作业下的成功模型 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-job-instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id
源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 评估时必填,训练时可选,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据迭代计算的次数。 训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合。
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业
执行纵向联邦模型训练作业成功 { "job_instance_id" : "7b0df147d6464ef2877b22f6d964d274" } 状态码 状态码 描述 200 执行纵向联邦模型训练作业成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
纵向联邦作业XGBoost算法只支持两方参与训练。 训练作业必须选择一个当前计算节点发布的数据集。 作业创建者的数据集必须含有特征。 创建纵向联邦学习作业 纵向联邦学习作业在本地运行,目前支持XGBoost算法、逻辑回归LR算法和FiBiNET算法。 纵向联邦学习分为五个步骤:数据选择、样本对
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算
作业描述,最大长度512 hfl_type 否 String fl作业类型枚举。TRAIN(训练),EVALUATE(评估)。 hfl_platform_type 否 String 联邦学习运行平台枚举值。LOCAL(本地),MODEL_ARTS(modelarts) agent_id
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20) 训练轮数 1 10 20
ague_id}/fl-jobs/{job_id} 保存横向联邦学习作业 响应示例 无 状态码 状态码 描述 200 保存横向联邦学习作业成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
可信联邦学习作业 概述 创建横向训练型作业 横向联邦训练作业对接MA 创建横向评估型作业 创建纵向联邦学习作业 执行作业 查看作业计算过程和作业报告 删除作业 安全沙箱机制
获取横向联邦学习作业详情 功能介绍 获取横向联邦学习作业详情 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,查找待执行的纵向作业,单击“执行”。 图3 执行作业 在弹出的界面配置执行参数,配置执行参数可选择常规配置与自定义配置。填写完作业参数,单击“确定”即可开始训练作业。 常规配置:通过界面点选
联合SQL分析,HFL.横向联邦学习,VFL.纵向联邦学习,PREDICT.预测 creatorName String 创建人名称,最大值128 create_time String 创建时间。 hfl_type String fl作业类型枚举。1.TRAIN训练,2.EVALUATE评估
作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。 父主题: 横向联邦学习场景
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced
征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练特征;过低的iv值没有区分性会造成训练资源的浪费,过高的iv值又过于突出可能会过度影响训练出来的模型。 例如