检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
申请使用数据 数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,
数据准备 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和su
进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录到计算节点后,进入数据管理并进行数据集发布。 图2 数据管理中新建数据集 参考下图填写参数信息。(1)指定连接器为localConnector,选择数据文件的路
(可选)准备DWS数据源 如果您的数据需通过DWS发布到TICS,则您需要提前准备DWS数据源。 JDBC数据源支持DWS(GaussDB SQL)的连接,目前仅支持默认数据库为postgres的DWS数据源。这里介绍DWS(GaussDB SQL)准备数据的步骤: 购买DWS服务,选择默
创建数据 数据拥有方公司A创建和发布数据集。可供选择有两种数据资产类型:结构化数据集、非结构化数据集。创建数据集后,发布数据集,此时对空间内的所有代理可见。 父主题: 可信数据交换场景
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict
准备数据 A方提供了待查询的用户ID数据,样例如下: blacklist_query.csv id 1914fd1aef9346e7a1b0a63c95aa918e 6b86b273ff34fce19d6b804eff5a3f57 66985617b4f74d14b4eceeaa25d61f5e
准备数据 企业A的实时业务不需要准备数据,在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
管理数据 数据管理概述 创建连接器 创建数据集 发布数据 数据预处理 父主题: 计算节点管理
弹出发布数据集选择框。 图3 发布数据 在发布数据集选择框中选择需要发布的合作方,单击“发布”,数据就会被同步到对应合作方作业管理的数据集中。数据集创建者默认拥有数据集权限。 图4 发布数据集 如果需要取消合作方的访问权限,需要重新发布数据集,单击“发布”并去勾选该合作方,单击“确认”。
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
data_type String 连接器数据类型 1.RDS--云数据库类型 2.MYSQL--MySQL类型 3.DWS--高斯数据库类型 4.MRS--MapReduce数据类型 5.ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table
概述 基于数据胶囊技术,将用户配置属性嵌入到数据加密策略中,只有匹配属性的用户才能打开文件,达到数据出域后仍然主权可控的目的。 进行数据交换的角色分为用数方和供数方,用数方通过发送申请传递数据使用需求;供数方确认使用需求后,创建合约发送到供数方进行签署,一旦合约生效,数据交换作业就可以执行。
编写完成后单击“保存”和“提交审批”,由于这条sql使用到了大数据厂商B的数据集,为保证数据安全和参与方的知情权,tics服务会自动解析sql语句将大数据厂商B需要执行的sql语句发送到大数据厂商B的计算节点上,当大数据厂商B同意审批之后才可以执行该条sql。 除此之外,tics服务会基于数据集的安全隐私策略自动校验
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。
集、DWS数据集、Oracle数据集、Mysql数据集,后续会支持更多华为云服务及原生服务的资源访问功能。连接信息中的敏感部分不会离开参与方侧。 数据管理包含创建数据和数据预处理,是可信智能计算服务的一项获取、配置及发布数据资源的功能。参与方进入数据管理>数据创建页面,选择对应连
HIVE等,关系型数据库的数据集默认是“结构化”数据类型。“选择“数据库”以及“数据表”,再配置创建数据的参数,配置完成后单击“确定”。 结构化数据是指具有标准化行、列数据属性的数据,例如sql、csv数据等。 配置结构化数据集时,需要注意以下几点: 选择数据文件:仅本地连接器需要配置。
多方安全计算作业在TICS中进行解析和任务计划构建,并下发任务给各个数据参与方所在的计算节点。 参与方计算节点从租户侧网络内的数据中获取数据,并使用安全算法进行加密输出。 数据在TICS提供的服务器中进行机密计算。 最终将计算完成的结果加密返回给作业发起方。 空间的整体配置通过空间管理员进行统一管理。