检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集到空间 功能介绍 本接口用于发布数据集到空间。 调用方法 请参见如何调用API。 URI POST /v1/agents/{agent_id}/datasets/{dataset_id}/publish 表1 路径参数 参数 是否必选 参数类型 描述 agent_id 是
的操作。 4xx:客户端错误,请求有语法错误或请求无法实现。 5xx:服务器端错误,服务器未能实现合法的请求。 状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。
执行作业时,提示“启动新任务失败,服务器任务队列超出缓存长度”,如何解决? TICS执行作业时,如果当前环境资源不足,会将任务缓存入队列中。任务队列长度默认为10。当空间缓存的任务超出长度时,界面会提示报错。 您可以通过TICS空间页查看是否有作业等待中或正在运行,等待任务运行完成或者停止其他任务后,再执行作业。
(可选)准备DWS数据源 如果您的数据需通过DWS发布到TICS,则您需要提前准备DWS数据源。 JDBC数据源支持DWS(GaussDB SQL)的连接,目前仅支持默认数据库为postgres的DWS数据源。这里介绍DWS(GaussDB SQL)准备数据的步骤: 购买DWS服务
HIVE等,关系型数据库的数据集默认是“结构化”数据类型。“选择“数据库”以及“数据表”,再配置创建数据的参数,配置完成后单击“确定”。 结构化数据是指具有标准化行、列数据属性的数据,例如sql、csv数据等。 配置结构化数据集时,需要注意以下几点: 选择数据文件:仅本地连接器需要配置。
数据准备 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和su
集、DWS数据集、Oracle数据集、Mysql数据集,后续会支持更多华为云服务及原生服务的资源访问功能。连接信息中的敏感部分不会离开参与方侧。 数据管理包含创建数据和数据预处理,是可信智能计算服务的一项获取、配置及发布数据资源的功能。参与方进入数据管理>数据创建页面,选择对应连
审批数据申请 数据拥有方公司A登录进入计算节点页面。 在左侧导航树上选择“可信数据交换 > 数据申请”,打开数据申请页面。 在数据申请页面单击“我收到的”,查看供数方节点收到的申请列表。 数据来源为数据需求方公司B发送来的使用申请:申请交换的数据集、数据集字段(结构化数据才有该字段)。
data_type String 连接器数据类型 1.RDS--云数据库类型 2.MYSQL--MySQL类型 3.DWS--高斯数据库类型 4.MRS--MapReduce数据类型 5.ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table
概述 基于数据胶囊技术,将用户配置属性嵌入到数据加密策略中,只有匹配属性的用户才能打开文件,达到数据出域后仍然主权可控的目的。 进行数据交换的角色分为用数方和供数方,用数方通过发送申请传递数据使用需求;供数方确认使用需求后,创建合约发送到供数方进行签署,一旦合约生效,数据交换作业就可以执行。
是否必选 参数类型 描述 dataset_type 是 String 数据集类型,按照传入枚举类型,返回所属作业类型的数据集。例如:传入MYSQL,返回分析作业可用的数据集;传入LOCAL_CSV,返回学习作业可用数据集 agent_id 否 String 可信计算节点id,最大32位,由字母和数字组成
弹出发布数据集选择框。 图3 发布数据 在发布数据集选择框中选择需要发布的合作方,单击“发布”,数据就会被同步到对应合作方作业管理的数据集中。数据集创建者默认拥有数据集权限。 图4 发布数据集 如果需要取消合作方的访问权限,需要重新发布数据集,单击“发布”并去勾选该合作方,单击“确认”。
(label)配置为字段类型:INTEGER,字段类别:标签。 图3 配置数据集参数 发布数据集。 图4 发布数据集 数据集发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 父主题: 测试步骤
6abcfa8" ] } 响应示例 无 状态码 状态码 描述 200 删除数据集成功 401 操作无权限 500 内部服务器错误 父主题: 数据集注册管理
Array of DatasetListVo objects 数据集列表 表4 DatasetListVo 参数 参数类型 描述 id String 数据集id。 支持数字,英文字母,下划线,长度32。 name String 数据集名称 connector_name String 连接器名称
泄露,同时会对敏感数据的求和计算添加差分噪声,以保护敏感数据不被泄露。 非敏感:指不参与数值分析,也和唯一身份无关的数据。例如等级、公司类型。 脱敏:勾选后,会对数据进行脱敏。 在“数据管理”页签找到待发布的数据名称,单击“发布”,数据就会被同步到作业管理的数据集中。 编辑完成后,需再次发布,变更才会生效。
参与方租户名称 dataset_id String 数据集id dataset_intercept_cnt Long 数据集拦截次数 dataset_name String 数据集名称 dataset_use_cnt Long 数据集使用次数 状态码: 401 表6 响应Body参数
创建数据 数据拥有方公司A创建和发布数据集。可供选择有两种数据资产类型:结构化数据集、非结构化数据集。创建数据集后,发布数据集,此时对空间内的所有代理可见。 父主题: 可信数据交换场景
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模