检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 多域协同 支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算;
使用TICS多方安全计算进行联合样本分布统计 场景描述 准备数据 发布数据集 创建样本分布统计作业 执行样本分布联合统计 数据优化 父主题: 纵向联邦建模场景
在本端VPC下已经存在了ECS云服务器。 已获取到了SFS_Turbo文件系统的挂载地址。 本端VPC指子网下没有SFS_Turbo文件系统,对端VPC则是子网下存在SFS_Turbo文件系统 操作步骤 登录本端VPC下的ECS服务器,登录ECS服务器的方式有两种。 方式一:Xshell登录
创建样本分布统计作业 创建样本分布统计作业步骤如下: 在“作业管理 > 多方安全计算”页面单击创建,进入sql开发页面,展开左侧的“合作方数据”可以看到企业A、大数据厂商B发布的不同数据集。 单击某一个数据集可以看到数据集的表结构信息。 此时企业A可以编写如下的sql语句统计双方
执行样本分布联合统计 企业A单击“执行”并等待一段时间之后,可以在页面下方“执行结果”看到sql的运行结果。 也可以通过“作业管理 > 多方安全计算 > 历史作业 > 查看结果”查看对应的结果。 父主题: 使用TICS多方安全计算进行联合样本分布统计
传统金融企业联合营销模式中,金融企业往往需要将双方的数据集中到一个安全实验室中进行标签融合,模型训练,但常面临数据泄露和隐私等挑战。联邦建模采用分布式架构进行部署和建模,参与联合营销的企业原始和明细数据不出库的前提下进行跨域数据建模,实现精准营销,同时保障企业数据安全与个人隐私。 优势:
管理密钥 密钥用于对加密的数据文件进行AES加解密。在多方安全计算作业场景,当SQL语句使用系统函数进行AES加解密时需要使用密钥。 约束限制 上传密钥文件需要以.key为后缀结尾。 上传密钥文件大小不超过256B。 上传密钥文本为base64编码之后的密钥,长度小于1000。 上传密钥
创建完成之后,单击文件系统的名称,跳转到基本信息页面,可查看文件系统的名称、ID、路径、容量以及网络等相关信息,单击ID后面的复制按钮,即可拿到所创建的SFS_Turbo文件系统的ID。 图8 文件系统ID 已有SFS_Turbo 如果已有的SFS_Turbo文件系统,打开SFS服务台
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。
定时同步文件,操作步骤如下: 以下教程适用于ECS机器系统为Centos 7.5。操作前需要购买两台同网段同文件系统的ecs节点A与节点B。 在两台虚机上安装rsync及corntab服务,已安装则跳过(HCS底座发行的系统镜像是默认安装的;客户提供的机器,需要客户运维侧保障)。
定时同步文件,操作步骤如下: 以下教程适用于ECS机器系统为Centos 7.5。操作前需要购买两台同网段同文件系统的ecs节点A与节点B。 在两台虚机上安装rsync及corntab服务,已安装则跳过(HCS底座发行的系统镜像是默认安装的;客户提供的机器,需要客户运维侧保障)。
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS多方安全计算进行联合样本分布统计
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
假设有人输入以下代码试图直接查询敏感数据。 select tax_bal, id from league_creator.tax 系统提示不支持进行敏感数据的SELECT操作。 图3 不支持敏感操作 示例二: 若试图在敏感数据中追加自己的数据, 从结果倒推敏感数据,即求原数据。
假设有人输入以下代码试图直接查询敏感数据。 select tax_bal, id from league_creator.tax 系统提示不支持进行敏感数据的SELECT操作。 图3 不支持敏感操作 若试图在敏感数据中追加自己的数据, 从结果倒推敏感数据,即求原数据。 Select
的字段)进行原数据的描述性统计,包括缺失值数量、最大值、最小值以及分布图。 图4 描述性统计 执行预处理。单击列表字段后的添加预处理方法,系统将利用所选的预处理方法(转换函数)将特征数据转换成更加适合算法模型的特征数据。当前TICS支持的特征预处理方法如表1所示。对于一个字段,可
E}' 作业变量命名长度限制0-20个字符,可支持40个变量 编写SQL语句时,您可以参考编辑器右侧的“系统函数”,在SQL语句中输入并使用系统函数。 表1 系统函数介绍 系统函数类型 函数 命令格式 命令说明 参数说明 返回值说明 数学函数 ABS abs(number) 计算number的绝对值。
拓展字段 表4 SqlExternalParamDto 参数 是否必选 参数类型 描述 agg.count 否 Integer 此次计算的分布式agg节点数量,最大值2的32次方-1 user.task.memory.size 否 String 本次作业在用户代理节点中分配的内存大小
请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。