检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置实时集成作业 完成数据连接、网络、资源组等准备工作的配置后,您可创建并配置实时集成作业,将多种输入及输出数据源搭配组成同步链路,进行数据的实时同步。 前提条件 已开通华为账号,并授权使用实时数据集成服务,详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组,
MRS Presto数据连接参数说明 表1 MRS Presto数据连接 参数 是否必选 说明 数据连接类型 是 MRS Presto连接固定选择为MapReduce服务(MRS Presto)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性
配置资源权限 本章主要介绍如何通过资源权限创建权限策略到Ranger组件,实现MRS资源权限控制,从而降低企业数据信息安全风险。 当前支持创建的权限策略如下: 创建HDFS权限策略 创建Hive访问权限策略 创建Hive脱敏权限策略 创建Hive行级过滤器权限策略 创建HBase权限策略
Oracle同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求
创建并管理工作空间 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个新的工作空间。 DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元
DIS Stream 功能 通过DIS Stream节点查询DIS通道的状态,如果DIS通道运行正常,继续执行后续的节点;如果DIS通道运行异常,DIS Stream将报错并退出,此时如果需要继续执行后续的节点,请配置“失败策略”为“继续执行下一节点”,请参见表2。 参数 用户可参考表
Sub Job 功能 通过Sub Job节点可以调用另外一个批处理作业。 参数 用户可参考表1和表2配置Sub Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为
删除应用 功能介绍 删除应用。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/service/apps/{app_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目
通过路径获取ID 功能介绍 通过路径获取ID。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/ids 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
通过ID获取路径 功能介绍 通过ID获取路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/paths 表1 路径参数 参数 是否必选 参数类型 描述 project_id
数据安全治理维度 根据DSMM评估模型,可以从组织建设、制度流程、技术工具、人员能力四个维度开展数据安全治理能力建设工作。 图1 数据安全能力建设工作 组织建设 数据安全组织架构是数据安全治理体系建设的前提条件。通过建立专门的数据安全组织,落实数据安全管理责任,确保数据安全相关工作能够持续稳定的贯彻执行
ROMA FDI Job 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务,实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 表1 属性参数
LTS数据连接参数说明 表1 LTS数据连接 参数 是否必选 说明 数据连接类型 是 LTS连接固定选择为LTS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称
DLI数据连接参数说明 表1 DLI数据连接 参数 是否必选 说明 数据连接类型 是 DLI连接固定选择为数据湖探索(DLI)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理
基线管理 为了保障重要任务能按时完成,用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。 创建基线 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128
GBase SQL 功能 通过GBase SQL节点传递SQL语句到GBase中执行。 参数 用户可参考表1和表2配置GBase SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符
批量删除API 功能介绍 批量删除API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目
获取网关分组 功能介绍 获取网关分组。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apigw/instances/{apig_instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 project_id