检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 dataset_type 是 String 数据集类型,按照传入枚举类型,返回所属作业类型的数据集。例如:传入MYSQL,返回分析作业可用的数据集;传入LOCAL_CSV,返回学习作业可用数据集 agent_id 否 String 可信计算节点id,最大32位,由字母和数字组成
data_type 是 String 连接器数据类型 1.RDS--云数据库类型 2.MYSQL--MySQL类型 3.DWS--高斯数据库类型 4.MRS--MapReduce数据类型 5.ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table
管理数据 数据管理概述 创建连接器 创建数据集 发布数据 数据预处理 父主题: 计算节点管理
准备数据 企业A的实时业务不需要准备数据,在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和support,在用户计算节点agent_gov上发布。
审批数据申请 数据拥有方公司A登录进入计算节点页面。 在左侧导航树上选择“可信数据交换 > 数据申请”,打开数据申请页面。 在数据申请页面单击“我收到的”,查看供数方节点收到的申请列表。 数据来源为数据需求方公司B发送来的使用申请:申请交换的数据集、数据集字段(结构化数据才有该字段)。
配置IEF高可用节点 IEF高可用节点实现该功能要手动操作,使用rsync命令在多台虚机间定时同步文件,操作步骤如下: 以下教程适用于ECS机器系统为Centos 7.5。操作前需要购买两台同网段同文件系统的ecs节点A与节点B。 在两台虚机上安装rsync及corntab服务,
配置IEF高可用节点 IEF高可用节点实现该功能要手动操作,使用rsync命令在多台虚机间定时同步文件,操作步骤如下: 以下教程适用于ECS机器系统为Centos 7.5。操作前需要购买两台同网段同文件系统的ecs节点A与节点B。 在两台虚机上安装rsync及corntab服务,
HIVE等,关系型数据库的数据集默认是“结构化”数据类型。“选择“数据库”以及“数据表”,再配置创建数据的参数,配置完成后单击“确定”。 结构化数据是指具有标准化行、列数据属性的数据,例如sql、csv数据等。 配置结构化数据集时,需要注意以下几点: 选择数据文件:仅本地连接器需要配置。
数据预处理 创建数据预处理作业 开发数据预处理作业 父主题: 管理数据
发布数据集 企业B分别自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 企业B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 外部数据共享
建立完成后,连接器显示正常说明连接正常。 图4 连接正常 进入数据管理,进行数据集发布。 图5 新建数据管理 填写参数信息。 图6 填写参数 重复步骤1~7,发布tax税务表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。
外部数据共享 场景描述 准备数据 发布数据集 创建实时隐匿查询作业 执行实时隐匿查询作业 父主题: 实时隐匿查询场景
基于TICS实现端到端的企业积分查询作业 简介 阶段一:数据发布 阶段二:隐私规则防护 阶段三:审批防护 阶段四:基本计算能力验证 阶段五:基于MPC算法的高安全级别计算 阶段六:统计型作业的差分隐私保护
id from league_creator.tax 系统提示不支持进行敏感数据的SELECT操作。 图3 不支持敏感操作 若试图在敏感数据中追加自己的数据, 从结果倒推敏感数据,即求原数据。 Select tax_bal + electric_bal from
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测
邀请云租户作为数据提供方,动态构建可信计算空间,实现空间内严格可控的数据使用和监管。 数据融合分析 支持对接多个数据参与方的主流数据存储系统,为数据消费者实现多方数据的SQL Join等融合分析,各方的敏感数据在具有安全支撑的聚合计算节点中实现安全统计。 计算节点 数据参与方使用数
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS多方安全计算进行联合样本分布统计
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
Computing Service )打破数据孤岛,在数据隐私保护的前提下,实现行业内部、各行业间的多方数据联合分析和联邦计算。TICS基于安全多方计算MPC、区块链等技术,实现了数据在存储、流通、计算过程中端到端的安全和可审计,推动了跨行业的可信数据融合和协同。 使用TICS的用户角色