检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 评估时必填,训练时可选,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据迭代计算的次数。 训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合。
征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行可信联邦学习,联合建模。 概念术语
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业
执行纵向联邦模型训练作业成功 { "job_instance_id" : "7b0df147d6464ef2877b22f6d964d274" } 状态码 状态码 描述 200 执行纵向联邦模型训练作业成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20) 训练轮数 1 10 20
自定义参数配置 填写完作业参数,单击“确定”即可开始训练作业。启动作业后会生成一条新的历史作业记录。模型训练页面展示了历史作业的执行情况、模型的评估指标和生成时间。模型的评估指标是使用训练数据集产生的。 单击“查看参数”可以查看该模型训练时指定的机器学习作业参数;逻辑回归作业可以单击“查看中间结果”实时查看每一次迭代的评估指标。
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算
在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,查找待执行的纵向作业,单击“执行”。 图3 执行作业 在弹出的界面配置执行参数,配置执行参数可选择常规配置与自定义配置。填写完作业参数,单击“确定”即可开始训练作业。 常规配置:通过界面点选
Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
查询训练作业下的成功模型 功能介绍 查询训练作业下的成功模型 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-job-instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id
状态码: 200 新建联邦学习作业成功 { "job_id" : "c098faeb38384be8932539bb6fbc28d3" } 状态码 状态码 描述 200 新建联邦学习作业成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
获取横向联邦学习作业详情 功能介绍 获取横向联邦学习作业详情 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
ague_id}/fl-jobs/{job_id} 保存横向联邦学习作业 响应示例 无 状态码 状态码 描述 200 保存横向联邦学习作业成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
查询联邦学习作业列表 功能介绍 查询联邦学习作业列表 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-jobs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
联合SQL分析,HFL.横向联邦学习,VFL.纵向联邦学习,PREDICT.预测 creatorName String 创建人名称,最大值128 create_time String 创建时间。 hfl_type String fl作业类型枚举。1.TRAIN训练,2.EVALUATE评估
可信联邦学习作业 概述 创建横向训练型作业 横向联邦训练作业对接MA 创建横向评估型作业 创建纵向联邦学习作业 执行作业 查看作业计算过程和作业报告 删除作业 安全沙箱机制