检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将特征的取值标准化为均值=0,标准差=1的高斯分布 异常值处理 连续型 对特征数据进行异常值定义和处理。对连续特征的数值范围定义合理区间,低于或超过该范围的数值进行修正。支持均值、中位数以及边界值进行修正。 Log变换 连续型 适合连续特征。将特征进行sign(x)log(|x|+1)非线性变换,主要作用是
空间成员完成数据集准备工作,参考准备本地横向联邦数据资源。 空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加“管理员权限”配置。 约束限制 仅CCE计算节点支持横向训练作业对接MA。 MA纳管的
作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。 父主题: 横向联邦学习场景
空间是联邦计算的载体。空间需要购买才能使用,在空间中可以管理合作成员,合作数据以及查看可信智能计算环境。执行联邦计算任务需要指定空间。 聚合器(AGG) 聚合器,进行多方数据运算结果的聚合。 合作方(Partner) 空间成员,有权使用空间中的数据,或者将自有数据发布到空间,供其他合作方受限使用。 邀请(Invitation)
新建作业 在弹出的界面进行数据选择,选择两方数据集作为整个作业的数据集,必须选择一个当前代理的数据集,另一个数据集可以来自空间中的任意一方。两方的数据集中一方数据集只含有特征,另一方的数据集必须含有标签。 重试:开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作
空间和可信节点连接超时,需要排查空间到可信节点的网络连接,及可信节点的运行状态,如状态异常可尝试重启。 TICS.SRV.90000010. API_TIME_OUT 空间调取可信节点的互信接口超时,排查可信节点的状态是否是运行中,如状态异常可尝试重启。 TICS.SRV.90000011.VERSION_UNMATCHED
执行批量预测作业 前提条件 参与方的计算节点如果是采用云租户部署,并且使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加权限配置。 执行批量预测作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 联邦预测”,打开联邦预测作业页面。 在“联邦预测
迭代次数 即epoch,数据迭代计算的次数。 训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合。 重试 开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作业生效。 开关关闭后,关闭前已触发重试的作业不受影响,仅对关闭后的执行作业生效。 CPU配额
方式和数据目录,参考部署计算节点。 空间成员在计算节点中完成数据发布,参考发布数据。 参与方的计算节点如果是采用云租户部署,并且使用子账号进行创建的,需要参考配置CCE集群子账号权限。 约束限制 避免作业名重复。 必须选择一个已有模型才能创建批量预测作业。 批量预测作业必须选择一个当前计算节点发布的数据集。
的具有相同特征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行可信联邦学习,联合建模。
文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。通过文件管理,参与方无需通过登录后台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。
纵向联邦建模场景 使用TICS多方安全计算进行联合样本分布统计 使用TICS可信联邦学习进行联邦建模 使用TICS联邦预测进行新数据离线预测 父主题: 使用场景
开启审批防护功能 前提条件 完成隐私规则防护。 操作步骤 敏感数据被查询时,可以在审批详情中,看到是否使查询敏感数据的结果可见,可由该提供方进行识别,并进行拒绝操作。 图1 审批详情 在审批详情中也可看到两个字段相加的情况,如下图所示。 图2 字段相加 通过查看字段是否可见,以及字段用途
使用空间API可以查询TICS空间的相关信息,如获取空间列表、获取计算节点列表等。空间API可通过调用IAM服务“获取用户Token接口”获取Token进行认证鉴权,支持在API Explorer平台在线调试。空间API支持的接口请参见表1。 使用计算节点API可以对计算节点进行操作,如新建连接器、新建数据
算节点时设置的“登录用户名”和“密码”。 图4 前往计算节点 登录成功后,单击左侧导航栏中“连接器管理”,在操作栏中通过单击编辑、删除,来进行连接器管理操作。 图5 连接器管理 父主题: 管理数据
假设您有如下数据集(只展示部分数据),由于数据不够完整,如job、gender等字段均存在一定程度的缺失。为了不让机器理解形成偏差、以达到机器学习的使用标准,需要基于对数据的理解,对数据进行特征预处理。例如: job字段是多类别的变量,其值0、1、2实际没有大小之分,一般会将该特征转换成向量,如值为0用向量[1, 0
算节点时设置的“登录用户名”和“密码”。 图4 前往计算节点 登录成功后,单击左侧导航栏中“连接器管理”,在操作栏中通过单击编辑、删除,来进行连接器管理操作。 图5 连接器管理 父主题: 环境准备
ACK回退中,ROLLBACK_FAILED回退失败,SUCCESS成功,FAILED失败,TO_START待开始,IN_PROGRESS进行中 deploy_type String 可信节点部署类型,CCE.云容器集群,IEF.边缘容器 deployment_event_information
传统金融企业联合营销模式中,金融企业往往需要将双方的数据集中到一个安全实验室中进行标签融合,模型训练,但常面临数据泄露和隐私等挑战。联邦建模采用分布式架构进行部署和建模,参与联合营销的企业原始和明细数据不出库的前提下进行跨域数据建模,实现精准营销,同时保障企业数据安全与个人隐私。 优势:
ACK回退中,ROLLBACK_FAILED回退失败,SUCCESS成功,FAILED失败,TO_START待开始,IN_PROGRESS进行中 deploy_type String 部署类型。CCE,IEF,EXTERNAL deployment_event_information