检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可信联邦学习作业 概述 创建横向训练型作业 横向联邦训练作业对接MA 创建横向评估型作业 创建纵向联邦学习作业 执行作业 查看作业计算过程和作业报告 删除作业 安全沙箱机制
支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算;
HFL—横向联邦学习 3.VFL_TRAIN---纵向联邦学习(训练) 4.VFL_EVALUATE---纵向联邦学习(评估) 5.VFL_ID_TRUNCATION---纵向联邦学习(样本粗筛) 6.VFL_FEATURE_SELECTION---纵向联邦学习(特征选择) 7.
至此,企业A完成了整个TICS联邦建模的流程,并将模型应用到了营销业务当中。这个预测作业可以作为后续持续预测的依据,企业A可以定期地使用模型预测自己的新业务数据。同时企业A也可以根据新积累的数据训练出新的模型,进一步优化模型预测的精确率,再创建新的联邦预测作业,产出更精准的预测结果供业务使用。 父主题:
联邦学习作业管理 查询联邦学习作业列表 父主题: 空间API
当计算节点执行横向联邦训练型作业时,若执行脚本中包含恶意行为,包含但不限于非授权访问其他作业数据、篡改文件和配置、恶意消耗容器资源等场景时,会影响到数据提供方的计算环境安全以及其他学习作业的正常执行。 针对该问题,在边缘节点部署场景中,TICS通过构建Python安全沙箱来单独运行横向联邦作业,做到作业运行的安全隔离。
删除作业 删除可信联邦学习作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,查找待删除的作业,单击“删除”。 删除操作无法撤销,请谨慎操作。 图1 删除作业 父主题: 可信联邦学习作业
部署配置选择边缘节点部署。 云租户部署模式下,TICS服务可以按照选取的规格,为客户预置默认资源分配策略。 边缘节点部署模式下,使用的纳管节点为客户机器或者云上虚机,TICS服务无法主动感知到节点资源大小,需客户手动填入。 图1 资源分配策略 这样就会有不合理的资源分配场景出现,最终导致计算节点容器因资源不足启动失败。
开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作业生效。 开关关闭后,关闭前已触发重试的作业不受影响,仅对关闭后的执行作业生效。 CPU配额 执行作业使用容器的CPU核数。 内存配额 执行作业使用容器的内存大小。 参数配置完成后,单击保存,完成可信联邦学习任务的创建。 完
在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。 图2 新建作业 在弹出的界面,继续配置可信联邦学习作业的参数,参数配置参考表1。 图3 配置参数 “数据集配置”的“可选数据列表”: 本地运行环境时,展示的是通过本地连接器发布的本地数据。 “评估型作业”只能选择当前计算节点的一个数据集。
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。 父主题: 横向联邦学习场景
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
感,脱敏)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。 可信联邦学习 对接主流深度学习框架实现横向和纵向的联邦训练,支持基于安全密码学(如不经意传输、差分隐私等)的多方样本对齐和训练模型的保护。 数据使用监管 为数据参与方提供可视化的数据使用流图
空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加“管理员权限”配置。 约束限制 仅CCE计算节点支持横向训练作业对接MA。 MA纳管的CCE集群要和TICS的CCE计算节点在同一个VPC下。
作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图6 在计算节点侧查看作业计算过程
EdgeFabric)通过纳管您的边缘节点,提供将云上应用延伸到边缘的能力,联动边缘和云端的数据,满足客户对边缘计算资源的远程管控、数据处理、分析决策、智能化的诉求。同时,在云端提供统一的设备/应用监控、日志采集等运维能力,为企业提供完整的边缘和云协同的一体化服务的边缘计算解决方案。 前提条件
EdgeFabric)通过纳管您的边缘节点,提供将云上应用延伸到边缘的能力,联动边缘和云端的数据,满足客户对边缘计算资源的远程管控、数据处理、分析决策、智能化的诉求。同时,在云端提供统一的设备/应用监控、日志采集等运维能力,为企业提供完整的边缘和云协同的一体化服务的边缘计算解决方案。 前提条件
执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中,选择己方、对方的本地数据集,此外需将已方的数据集设