检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 label float
联邦学习作业管理 查询联邦学习作业列表 父主题: 空间API
脚本中包含恶意行为,包含但不限于非授权访问其他作业数据、篡改文件和配置、恶意消耗容器资源等场景时,会影响到数据提供方的计算环境安全以及其他学习作业的正常执行。 针对该问题,在边缘节点部署场景中,TICS通过构建Python安全沙箱来单独运行横向联邦作业,做到作业运行的安全隔离。 验证安全沙箱防护能力
约束限制 仅IEF计算节点支持创建横向评估型作业。 创建可信联邦学习评估型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
用子账号进行创建的,需要参考配置CCE集群子账号权限。 创建可信联邦学习训练型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算法模型,后续文档会介绍如何使用已有的算法模型对新的数据进行预测。 父主题: 使用TICS可信联邦学习进行联邦建模
进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 基于多方安全计算功能准备好合适的数据,本文主要介绍双方对已有的数据进行样本对齐、特征筛选和联邦建模,并对产生的模型进行评估。 父主题: 使用TICS可信联邦学习进行联邦建模
REGRESSION(2); job_creation_agent 否 String 预测作业发起方可信计算节点ID,最大32位,由字母和数字组成 is_single_predict 否 Boolean 单方还是双方预测 vfl_external_param 是 VerticalFlExternalParam
Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
ModelParamVo 参数 是否必选 参数类型 描述 predict_threshold 否 Float 预测阈值,最小值0,最大值1 learning_rate 否 Float 学习率,最小值0,最大值1 batch_size 否 Integer 批大小,最小值1 epoch 否 Integer
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准) 父主题: 可信联邦学习作业
"result_ext" : null } 状态码 状态码 描述 200 查询样本对齐结果成功 401 操作无权限 500 内部服务器错误 父主题: 联邦学习作业管理
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
乳腺癌数据集作业结果 本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20)
d964d274" } 状态码 状态码 描述 200 执行ID选取截断作业成功 401 操作无权限 500 内部服务器错误 父主题: 联邦学习作业管理
f6d964d274" } 状态码 状态码 描述 200 执行样本对齐作业成功 401 操作无权限 500 内部服务器错误 父主题: 联邦学习作业管理