检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数
外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 本文主要介绍在进行建
联邦预测”,打开联邦预测作业页面。 在“联邦预测”页面实时预测Tab页,单击“模型部署”,开始部署模型。 图1 模型部署 模型部署完成后,单击“发起预测”,在系统弹窗中填写要预测的“样本id”和“模型特征”对应的数值,然后单击“预测”,就会有系统弹窗弹出,显示预测结果。 注意:样
将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced-Learn中的SMOTE算法,进行了数据集的扩充。下表为扩充过后的数据集统计信息。
新容器的CPU核数和内存大小,默认CPU核数为1,内存大小512M。 然后勾选“选择训练作业”列表中的某一训练作业,然后勾选“选择模型”列表中对应模型,最后单击“确定”按钮完成作业创建。 参数配置完成后,单击确认,完成批量预测任务的创建。 父主题: 批量预测
在“联邦预测”页面批量预测Tab页,查找待执行的作业,单击“发起预测”,在系统弹窗中填写“分类阈值”,勾选数据集发起联邦预测。 如果在创建联邦预测作业 步骤4中勾选的模型不包含标签方特征,联邦预测支持只勾选己方数据集发起单方预测。 图1 发起预测 图2 勾选数据集 在“联邦预测”页面批量预测Tab页单击“历
会造成训练资源的浪费,过高的iv值又过于突出可能会过度影响训练出来的模型。 例如这里大数据厂商提供的f4特征iv值是0,说明这个特征对于标签的识别没有区分度,可以不选用;而f0、f2特征的iv值中等,适合作为模型的训练特征。 根据计算得出的iv值,企业A调整了训练使用的特征,没有
业记录。模型训练页面展示了历史作业的执行情况、模型的评估指标和生成时间。模型的评估指标是使用训练数据集产生的。 单击“查看参数”可以查看该模型训练时指定的机器学习作业参数;逻辑回归作业可以单击“查看中间结果”实时查看每一次迭代的评估指标。 图12 模型训练参数 进行模型评估。在历
文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。参与方无需登录后台手动导入模型文件,通过该功能即可将模型文件上传到数据目录,并支持批量删除。在创建联邦学习作业时可以选到上传的脚本模型等文件,提高了易用性及可维护性。 使用场景:管理联邦学习作业所需的脚本、模型、权重文件。 父主题: 可信联邦学习作业
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
多方协同过程中隐私信息交互(SQL JOIN数据碰撞、可信联邦学习模型参数)的加密保护; 支持安全多方计算,如基于隐私集合求交PSI(Private Set Intersection)技术的多方样本对齐、 基于差分隐私、加法同态、秘密共享等技术的训练模型保护; 可插件化的对接区块链存储,实现多方数据
可信联邦学习”,打开可信联邦学习作业页面。 在“联邦预测”页面,选择批量预测的Tab页,找到待开发的作业,单击“开发”。 图1 开发作业 在弹出的对话框中编辑“选择模型”。只允许选择模型,其它作业参数暂时不支持修改。 单击保存。 父主题: 批量预测
可以单独设置隐私策略,并在发布到空间侧后对其他参与方生效,限制敏感信息的使用。 数据预处理使用场景:训练机器学习模型前,可通过转换函数将特征数据转换成更加适合算法模型的特征数据。 父主题: 管理数据
表示可信联邦学习作业在本地运行。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 模型的初始权重,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据将会被执行的次数。评估型作业的迭代次数固定为1。
联邦预测作业管理 查询联邦预测作业列表 查询训练作业下的成功模型 父主题: 计算节点API
1 纵向联邦支持LR算法 LR纵向联邦学习主要用于具有线性边界的二分类问题,支持用户双方训练联合逻辑回归(LR)模型。相较于单方训练,纵向联邦LR训练覆盖用户双方特征,模型预测精度更高。TICS采用SEAL同态加密确保双方数据交互安全,通过批处理技术进一步提升联邦训练性能。 公测 创建纵向联邦学习作业
获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
据安全的前提下,利用多方数据实现的联合建模,曾经被称为联邦机器学习。 联邦预测作业 联邦预测作业在保障用户数据安全的前提下,利用多方数据和模型实现样本联合预测。 可信智能计算节点 数据参与方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(脱敏、加密)的设定、元数据的发布
等待执行完成,在“历史作业”页面查看对应的执行结果、作业报告。作业报告展示作业详细信息,包括作业输入条件、输出结果、执行环境、合作方信息和模型贡献度等。 图2 展示作业报告 执行纵向作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。
纵向联邦建模场景 使用TICS多方安全计算进行联合样本分布统计 使用TICS可信联邦学习进行联邦建模 使用TICS联邦预测进行新数据离线预测 父主题: 使用场景