检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
查询训练作业下的成功模型 功能介绍 查询训练作业下的成功模型 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-job-instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id
执行纵向联邦模型训练作业 功能介绍 执行纵向联邦模型训练作业 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/execute 表1 路径参数 参数 是否必选
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算
本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20) 训练轮数 1 10 20
基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic Regression模型本质上还是
源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 评估时必填,训练时可选,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据迭代计算的次数。 训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合。
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 必须选择一个已有的FiBiNet模型才能创建实时预测作业。 实时预测作业必须选择训练FiBiNet模型的参与方计算节点发布的数据集。 创建训练模型时参数必须有"save_format": "SAVED_MODEL"。 创建联邦预测作业
企业A单击“联邦预测 > 批量预测 > 创建”按钮,进入联邦预测作业的创建页面。企业A需要通过“算法类型”、“训练作业”等筛选条件可以找到用于预测的模型,点选使用的模型后单击“确定”按钮即完成联邦预测作业的创建。 父主题: 使用TICS联邦预测进行新数据离线预测
注册”。 图1 注册ma资源池 创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数
文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。通过文件管理,参与方无需通过登录后台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict
开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据,和评估/预测数据。 数据预处理作业选择的结构化数据集(包括
r进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced-Learn中的SMOTE算法,进行了
签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练特征;过低的iv值没有区分性会造成训练资源的浪费,过高的iv值又过于突出可能会过度影响训练出来的模型。 例如这里大
自定义参数配置 填写完作业参数,单击“确定”即可开始训练作业。启动作业后会生成一条新的历史作业记录。模型训练页面展示了历史作业的执行情况、模型的评估指标和生成时间。模型的评估指标是使用训练数据集产生的。 单击“查看参数”可以查看该模型训练时指定的机器学习作业参数;逻辑回归作业可以单击“
模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 根据前一篇文章,企业A已经通过可信联邦学习功能训练出了一个预测客户时候是高价值用户的模型。 本文主要介绍企业A和大数据厂商B如何通过已有的模型对新的业务数据进行预测。
分类阈值 区分正负例的得分阈值。 逻辑回归/FiBiNET 学习率 控制权重更新的幅度,影响训练收敛速度和模型精度,取值范围为0~1。 迭代次数 完成全部样本训练的次数,取值为正整数。 批大小 单次训练使用的样本数,取值为正整数。 分类阈值 区分正负例的得分阈值 自定义配置: 通过jso