检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
065 98.140 98.415 测试集AUC 0.995 0.996 0.997 训练时长 (秒) 166 167 216 从上面两张表可以看出: (1)训练轮数对于联邦学习模型的性能影响不大,这主要是由于乳腺癌数据集的分类相对简单,且数据集经过了扩充导致的; (2)增大每个参与
问题分析 该报错大概率是资源配额不足导致作业执行失败。 解决方案 如果是纵向联邦学习作业,您可以在该纵向联邦作业详情页面尝试新增内存配额和CPU配额,然后重新执行作业。 如果是横向联邦学习作业,您可以在该横向联邦作业详情页面尝试新增内存配额和CPU配额,然后保存、提交审批,等待审批通过后再重新执行作业。
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算
创建数据集 通过数据集,用户可获取到名下详细的资源列表。同时,对于有敏感信息的数据集,还可以单独设置隐私策略,并在发布到空间侧后对其他参与方生效,限制敏感信息的使用,保障数据安全。 创建结构化数据集 创建数据集前需存在已创建好的连接器,参考创建连接器。 用户登录TICS控制台。
种任务类型。 图2 新建作业 在弹出的界面进行数据选择,选择两方数据集作为整个作业的数据集,必须选择一个当前代理的数据集,另一个数据集可以来自空间中的任意一方。两方的数据集中一方数据集只含有特征,另一方的数据集必须含有标签。 重试:开关开启后,执行失败的作业会根据配置定时进行重试
参与方租户名称 dataset_id String 数据集id dataset_intercept_cnt Long 数据集拦截次数 dataset_name String 数据集名称 dataset_use_cnt Long 数据集使用次数 状态码: 401 表6 响应Body参数 参数
产品优势 多域协同 支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算;
模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中,选择己方、对方的本地数据集,此外需将已方的数据集设为评估数据集。横向联邦中,需要确保不同参与方的数据集结构完全一致。 图3 配置数据集 保存并执行作业。单击下方的“保存并执行”按钮,即可发起执行横向联邦学习作业。
横向训练型作业在作业配置页面单击“保存”按钮后,单击“提交审批”按钮,审批完成后再单击“执行”按钮。 横向评估型作业在作业配置页面单击“保存”按钮后,可以直接单击“执行”按钮。 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“
数据类型,DWS.DWS类型数据集,LOCAL_CSV.本地文件类型数据集,MRS.HIVE类型数据集,MYSQL.MySql类型数据集,ORACLE.Oracle类型数据集,RDS.RDS类型数据集 description String 描述 id String 数据集id name String
乳腺癌数据集从UCI获取,该数据集只包含连续类型特征,因此对所有特征使用Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确
图3 前往计算节点 选择界面左侧“数据管理>数据预处理”,单击“创建”,可输入作业名称、描述及数据集,单击保存。若当前选不到目标数据集,可查看该数据集是否已参与其他的预处理作业。 目标数据集需要对所选字段的分布类型进行严格定义。处理评估/预测数据前建议先使用训练数据进行预处理,以确保当数据处理达到目标需求。
而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本
在界面左侧选择“审计日志”,在弹出的界面查看详细信息。 图3 审计日志 事件信息内容主要有:参与方[参与方别名]创建[作业类型]作业[作业名称:作业实例id],使用数据集[数据集名称],耗费[时间],输出[条数]。 多方安全计算作业中的作业详情信息,即SQL语句也会参与审计,但该信息属于敏感信息不会上链。 父主题:
创建申请 用数方可以在数据目录选取需要的数据集,创建数据申请并描述需求,发送至供数方审视需求。 支持的数据源类型:CSV或者二进制的本地文件、MySQL、Hive,其中MySQL和Hive的数据集配置可参照管理数据章节。 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节
置连接器,注册数据集,任务执行,查看任务执行日志。 连接器(Connector) 连接器是可信智能计算节点内置的连接特定数据源所需的对象模板,目前支持连接MRS Hive、MySQL、RDS、DWS、ORACLE等多种连接器,并支持扩展增加新的连接器。 数据集(Data set)
用于获取访问token。 可信节点管理 用于管理计算节点 。 连接器管理 用于管理连接器。 数据注册管理 用于管理数据集列表。 任务管理 用于管理作业任务。 通知管理 用于管理通知。 数据集管理 用于管理数据集。 多方安全计算作业管理 用于管理多方安全计算作业。 联邦学习作业管理 用于管理可信联邦学习作业。
联邦学习和联邦预测作业等作业方式。 多方安全计算 多方安全计算是可信智能计算提供的关系型数据安全共享和分析功能,曾经被称为联邦数据分析。您可以创建多方安全计算作业,根据合作方已提供的数据,编写相关sql作业并获取您所需要的分析结果,同时能够在作业运行保护数据使用方的数据查询和搜索
过文件管理,参与方无需通过登录后台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。 创建文件 用户登录TICS控制台。