检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 连接正常 进入数据管理,进行数据集发布。 图5 新建数据管理 填写参数信息。 图6 填写参数 重复步骤1~7,发布support资助金数据表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。
集、DWS数据集、Oracle数据集、Mysql数据集,后续会支持更多华为云服务及原生服务的资源访问功能。连接信息中的敏感部分不会离开参与方侧。 数据管理包含创建数据和数据预处理,是可信智能计算服务的一项获取、配置及发布数据资源的功能。参与方进入数据管理>数据创建页面,选择对应连
data_type String 连接器数据类型 1.RDS--云数据库类型 2.MYSQL--MySQL类型 3.DWS--高斯数据库类型 4.MRS--MapReduce数据类型 5.ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table
选择界面左侧“数据管理>数据预处理”,单击“创建”,可输入作业名称、描述及数据集,单击保存。若当前选不到目标数据集,可查看该数据集是否已参与其他的预处理作业。 目标数据集需要对所选字段的分布类型进行严格定义。处理评估/预测数据前建议先使用训练数据进行预处理,以确保当数据处理达到目标需求。
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。
数据准备 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和su
除空间等权限。例如,在创建空间模块中,组织方可以对合作方人员发布的数据进行审核,把好质量关。 合作方 合作方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(脱敏、加密、水印)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。 TICS使用流程简介
创建数据 数据拥有方公司A创建和发布数据集。可供选择有两种数据资产类型:结构化数据集、非结构化数据集。创建数据集后,发布数据集,此时对空间内的所有代理可见。 父主题: 可信数据交换场景
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict
参考准备本地横向联邦数据资源 -> 上传数据集文件,将该文件上传到计算节点的挂载路径下,即完成多方安全计算数据集配置。 如果数据集文件不含有csv文件表头,需要用户提供额外的配置文件用来说明数据集每一列的信息。以上述标签方数据集为例,没有表头的数据集文件和数据配置文件的格式如下:
以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和support,在用户计算节点agent_gov上发布。
参与方租户名称 dataset_id String 数据集id dataset_intercept_cnt Long 数据集拦截次数 dataset_name String 数据集名称 dataset_use_cnt Long 数据集使用次数 状态码: 401 表6 响应Body参数
管理数据 数据管理概述 创建连接器 创建数据集 发布数据 数据预处理 父主题: 计算节点管理
弹出发布数据集选择框。 图3 发布数据 在发布数据集选择框中选择需要发布的合作方,单击“发布”,数据就会被同步到对应合作方作业管理的数据集中。数据集创建者默认拥有数据集权限。 图4 发布数据集 如果需要取消合作方的访问权限,需要重新发布数据集,单击“发布”并去勾选该合作方,单击“确认”。
批量删除数据集 功能介绍 本接口用于批量删除数据集。 调用方法 请参见如何调用API。 URI POST /v1/agents/datasets/batch-delete 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 [数组元素] 是 Array of strings
审批数据申请 数据拥有方公司A登录进入计算节点页面。 在左侧导航树上选择“可信数据交换 > 数据申请”,打开数据申请页面。 在数据申请页面单击“我收到的”,查看供数方节点收到的申请列表。 数据来源为数据需求方公司B发送来的使用申请:申请交换的数据集、数据集字段(结构化数据才有该字段)。
发布数据集到空间 功能介绍 本接口用于发布数据集到空间。 调用方法 请参见如何调用API。 URI POST /v1/agents/{agent_id}/datasets/{dataset_id}/publish 表1 路径参数 参数 是否必选 参数类型 描述 agent_id 是
是否必选 参数类型 描述 dataset_type 是 String 数据集类型,按照传入枚举类型,返回所属作业类型的数据集。例如:传入MYSQL,返回分析作业可用的数据集;传入LOCAL_CSV,返回学习作业可用数据集 agent_id 否 String 可信计算节点id,最大32位,由字母和数字组成