检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 多域协同 支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算;
传统金融企业联合营销模式中,金融企业往往需要将双方的数据集中到一个安全实验室中进行标签融合,模型训练,但常面临数据泄露和隐私等挑战。联邦建模采用分布式架构进行部署和建模,参与联合营销的企业原始和明细数据不出库的前提下进行跨域数据建模,实现精准营销,同时保障企业数据安全与个人隐私。 优势:
拓展字段 表4 SqlExternalParamDto 参数 是否必选 参数类型 描述 agg.count 否 Integer 此次计算的分布式agg节点数量,最大值2的32次方-1 user.task.memory.size 否 String 本次作业在用户代理节点中分配的内存大小
功能介绍 缺失值处理 连续型/离散型 针对连续特征有均值、中位数2种填充策略,针对离散特征有众数的填充策略。 离散特征编码 离散型 将字符串形式存储的特征,映射为[0, n_classes-1]范围内的整数 Onehot编码 离散型 将[0, n_classes-1]范围内整数,映射为
例如查询方希望查询身份证id为“张三”的人信贷公式数据,发起了一个类似于SELECT salary * 16 + age*10 FROM t WHERE id = ‘张三’的单数据集查询。t表存储在数据提供方计算节点中。查询方不希望有人知道自己查询的是“张三”这个人,也不希望知道查出的这条信贷公式结果具体值。
size:本次作业在各执行节点分配的内存大小,默认200MB。如果作业中间结果过大,需要调高该参数。 max.result.file.size:最大存储文件大小,默认10GB。如果最终结果存储超过这个大小,则会执行失败,需要调大该值。 tics.task.concurrency:在TICS所属计算节点执行计算
在弹出的页面上,选择要上传的文件类型,填写文件相关信息,添加文件并上传,单击“确定”。 部署计算节点时“存储挂载方式”选择“主机挂载”,那么文件将放置在“主机路径/uploadfiles”文件夹下; 部署计算节点时“存储挂载方式”选择“OBS挂载”,那么文件将放置在对应OBS桶“/uploadfiles”文件夹下。
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
脱敏:勾选后,该字段内容将在分析结果中加密呈现,否则明文呈现。默认不勾选(作业发起方所属字段不做脱敏)。 分布类型:包括连续、离散、MULTIHOT三种特征类型,联邦学习时可能会使用到该信息。 离散:离散变量是在任意两个值之间具有可计数的值的数值变量。离散变量始终为数值变量。例如,客户投诉数量或者瑕疵或缺陷数。
上传数据集文件到计算节点挂载路径下,供计算节点执行的脚本读取。如果是主机挂载,上传到宿主机的挂载路径下。如果是OBS挂载,使用华为云提供的对象存储服务,上传到当前计算节点使用的对象桶中。 图5 对象桶名称 此处以主机挂载为例: 创建一个主机挂载的计算节点Agent1,挂载路径为/tmp/tics1/。