检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一、初心:联邦学习拟解决的问题1.联邦学习的广义定义:解决联合建模的问题或需求随着人工智能等技术应用的发展与普及,基于机器学习的智能营销及风控等应用迅速兴起。
立即购买 管理控制台 服务咨询 [服务新闻] 解读华为云可信智能计算服务TICS [服务新闻] 兼顾数据应用与安全,华为云TICS有最优解 [安全认证] 通过金标委《多方安全计算金融应用》评测认证 [安全认证] 通过信通院《联邦学习》评测认证 [服务新闻] 解读华为云可信智能计算服务
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
使用场景:管理联邦学习作业所需的脚本、模型、权重文件。 父主题: 可信联邦学习作业
删除作业 删除可信联邦学习作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,查找待删除的作业,单击“删除”。 删除操作无法撤销,请谨慎操作。 图1 删除作业 父主题: 可信联邦学习作业
可以预见的是,微众AI团队针对的情景,要比Google的情景更加具有普适性,也更符合未来大数据、多企业的应用需求。下图展示了FTL的应用情景。解释:假设我们现有的A和B两个企业的数据,它们的服从上图的特征和样本维度。
图3 恶意脚本执行结果 父主题: 可信联邦学习作业
父主题: 可信联邦学习作业
图1 乳腺癌预测研究应用场景示意 作业发起方通过计算节点上传数据、待训练模型的定义文件; 作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。
创建可信联邦学习评估型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
联邦学习有三大构成要素:数据源、联邦学习系统、用户。三者间关系如图所示,在联邦学习系统下,各个数据源方进行数据预处理,共同建立及其学习模型,并将输出结果反馈给用户。联邦学习的分类根据参与各方数据源分布的情况不同,联邦学习可以被分为三类:横向联邦学习、纵向联邦学习、联邦迁移学习。
图2 配置参数 父主题: 可信联邦学习作业
应用凭证申请和修改 应用凭证申请 服务器接口调测成功后,集成联营kit前,商家需要申请应用凭证,该凭证在发布商品、Kit集成阶段均会使用,具体操作步骤如下: 进入卖家中心页面,单击左侧导航的“应用工具>应用凭证管理”。
创建可信联邦学习训练型作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数,完成后单击“确定”。
联邦学习最早在 2016 年由谷歌提出,原本用于解决安卓手机终端用户在本地更新模型的问题,根据多参与方之间数据分布的不同,把联邦学习分为三类:横向联邦学习、纵向联邦学习和联邦迁移学习。
TEE为授权安全软件,也称为“可信应用”提供一个安全的执行环境,通过实施保护、保密性、完整性和数据访问权限确保端到端的安全。 2.MPC MPC(安全多方计算),是一个复杂的密码协议,最早是由姚教授在82年通过百万富翁问题提出来的。
横向联邦学习场景