检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive)时,选择的MRS集群需与当前计算节点部署CCE在同一VPC。填写的用户名,需具有Hive的读写权限。“集群名称”为用户所需要使用的MRS Hive数据源所在的MRS集群。“用户名”为MRS集群中拥有Hive权限的集群用户。 注意事项 IEF上部署的计算节点不支持创建MRS Hive、ModelArts和DWS类型的连接器。
删除连接器 功能介绍 本接口用于删除连接器。 调用方法 请参见如何调用API。 URI DELETE /v1/agents/connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 connector_id 是 String 连接器id。
新建或更新连接器 功能介绍 本接口用于创建或更新连接器。 - 根据是否存在connector_id字段,判断是创建还是更新连接器 - 创建mysql连接器时需上传驱动文件,详见应用示例 - 该接口需将请求body转换为json字符串,详见请求示例 - 返回连接器ID
测试连接器创建参数 功能介绍 本接口用于测试连接器创建参数。 - 测试mysql连接器时需上传驱动文件,详见应用示例 - 该接口需将请求body转换为json字符串,详见请求示例 - 可校验连接器账户密码、网络连通性。 调用方法 请参见如何调用API。 URI POST /v1/
获取连接器列表 功能介绍 本接口用于获取连接器信息。 调用方法 请参见如何调用API。 URI GET /v1/agents/connectors 表1 Query参数 参数 是否必选 参数类型 描述 offset 是 Integer 起始位置。 当前页面数,默认为0,取值0-2147483647。
连接器管理 新建或更新连接器 获取连接器列表 测试连接器创建参数 删除连接器 父主题: 计算节点API
Hive)时,选择的MRS集群需与当前计算节点部署CCE在同一VPC。填写的用户名,需具有Hive的读写权限。“集群名称”为用户所需要使用的MRS Hive数据源所在的MRS集群。“用户名”为MRS集群中拥有Hive权限的集群用户。 注意事项 IEF上部署的计算节点不支持创建MRS Hive、ModelArts和DWS类型的连接器。
登录成功后,进入到计算节点界面,选择左侧导航栏中“连接器管理”,单击“创建”,在弹出的界面配置创建连接器的参数,配置完成后单击“确定”。 测试功能为数据源连通性及密码正确性的检查测试。 图3 创建连接器(以RDS服务为例) 表1 参数说明 参数名 描述 连接器类型 “连接器类型”选择Hive连
安全组”,检查安全组配置。确保数据库端口对计算节点开放。 (可选)准备API数据源 如果您的数据需通过API发布到TICS,则您需要提交准备API数据源。 目前API数据源支持基础认证方式。 API数据源可以是GET或者POST请求。 API数据源的返回格式如下,使用json格式 [{"id":"1","x0":"3232"
填写参数信息。 图6 填写参数 重复步骤1~7,发布tax税务表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 父主题: 可验证代码示例
填写参数信息。 图6 填写参数 重复步骤1~7,发布support资助金数据表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 父主题: 基于TICS实现端到端的企业积分查询作业
数据管理概述 TICS的数据管理由“连接器管理”和“数据管理”两部分来实现: 连接器是可信智能计算服务提供的一项访问参与方数据资源的功能。参与方填写连接信息来创建对应类型的连接器,并通过这些连接器访问到各类型资源的结构化信息。当前支持MRS服务(Hive)、本地数据集、RDS数据
建数据的参数,配置完成后单击“确定”。 图7 创建数据 API数据集配置的外部数据源需满足如下要求: 请求方式为GET或POST 由查询条件可以查出对应一条或多条数据 当配置隐匿查询作业的外部数据源时,接口需支持模糊查询id经过sha256转换后的值。 类似MySQL中的如下语句,其中x为查询的具体值。
创建作业 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。 空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。
算节点中支持配置连接器,注册数据集,任务执行,查看任务执行日志。 连接器(Connector) 连接器是可信智能计算节点内置的连接特定数据源所需的对象模板,目前支持连接MRS Hive、MySQL、RDS、DWS、ORACLE等多种连接器,并支持扩展增加新的连接器。 数据集(Data
发布数据 前提条件 计算节点已创建完成,创建方法请参考部署计算节点。 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS
已有的数据空间。 部署计算节点 在TICS控制台通过购买计算节点,支持接入数据空间进行操作。 创建连接器 在计算节点中,通过连接器连接数据源,用于后续的加密计算操作。 网络 确保计算节点能够与TICS空间部署节点互联互通。 父主题: 环境准备
计算节点API应用示例 本节通过curl 方式调用TICS API,端到端执行分析型作业为例,介绍使用TICS API的基本流程。 获取用户token 获取用户的token,因为在后续的请求中需要将token放到请求消息头中作为认证。 获取可信节点详情 获取调用后续接口参数信息,例如可信节点id。
如何确认在跨VPC的情况下计算节点与SFS_Turbo文件系统连通性 使用场景 在建立了本端VPC与对端VPC的对等连接之后,用户如何去验证在跨VPC的情况下,本端VPC子网与SFS_Turbo文件系统连通性。 操作前提 在本端VPC与对端VPC之间已经建立了对等连接。 在本端VPC下已经存在了ECS云服务器。
支持在分布式的、信任边界缺失的多个参与方之间建立互信空间; 实现跨组织、跨行业的多方数据融合分析和多方联合学习建模。 灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算;