检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据,和评估/预测数据。 数据预处理作业选择的结构化数据集(包括
查看作业计算过程和作业报告 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,
\"password\":\"***\"}" } 状态码 状态码 描述 200 更新连接器成功 201 新建连接器成功 401 操作无权限 500 内部服务器错误 父主题: 连接器管理
"tics002,space_creator" } ] } 状态码 状态码 描述 200 查询训练作业下的成功模型 401 操作无权限 500 内部服务器错误 父主题: 联邦预测作业管理
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询联邦分析作业列表成功 401 操作无权限 500 内部服务器错误 父主题: 联邦分析作业管理
dataset_id}/publish 响应示例 无 状态码 状态码 描述 200 发布数据集到空间成功 401 操作无权限 500 内部服务器错误 父主题: 数据集注册管理
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
d}/fl-jobs/{job_id} 响应示例 无 状态码 状态码 描述 200 删除联邦学习作业成功 401 操作无权限 500 内部服务器错误 父主题: 可信联邦学习作业管理
乳腺癌数据集作业结果 本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20)
"7b0df147d6464ef2877b22f6d964d274" } 状态码 状态码 描述 200 执行纵向联邦分箱和IV计算作业成功 401 操作无权限 500 内部服务器错误 父主题: 联邦学习作业管理
"result_ext" : "7" } ] } 状态码 状态码 描述 200 查询作业的历史实例列表成功 401 操作无权限 500 内部服务器错误 父主题: 作业实例管理
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
创建或更新数据集 功能介绍 本接口用于创建或更新数据集。 - 根据是否存在id字段,判断是创建还是更新数据集 - 返回数据集ID 调用方法 请参见如何调用API。 URI POST /v1/agents/datasets 请求参数 表1 请求Header参数 参数 是否必选
隐私规则防护 使用TICS的隐私规则防护能力确保数据安全。 前提条件 完成数据集发布。 操作步骤 进入多方安全计算的作业执行界面,单击创建。 图1 创建作业 在作业界面中,按照示例一和示例二提供的案例和SQL语句进行作业测试。 图2 作业界面 示例一: 假设有人输入以下代码试图直接查询敏感数据。
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
筛选特征 样本对齐执行完成后单击下一步进入“特征选择”页面,这一步企业A需要选出企业A自己和大数据厂商B的特征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
统计型作业的差分隐私保护 本示例作业,以统计各行业的“企业税收总和”与“用电量总和”,进行统计分析: Select industry, sum(tax_bal), sum(electric_bal) from LEAGUE_CREATOR.tax a join
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算