检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据库连接的相关信息:包括用于创建数据库类型数据源所需的数据库IP、端口、用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。
仅以下数据源的API支持同步:DLI、DWS、HBase、Clickhouse。 父主题: 管理API
跨源级规则目前只支持基于Hetu连接的MRS Hive和DWS之间的字段对比作业。 配置跨源级规则前,需要在MRS Hetu中创建MRS Hive数据源和GUASSDB数据源。详情请参考配置Hive数据源和配置GUASSDB数据源。
前往目的端数据源查看数据迁移的入库时间。 父主题: 数据迁移进阶实践
前往目的端数据源查看数据迁移的入库时间。 父主题: 关键操作指导
模式 是 Hetu支持的数据源。用户可以在MRS Manager的Hetu组件中自行添加数据源。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 资源队列 否 输入资源队列名称。
输入和输出表的所属数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。
输入和输出表的所属数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。
datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name String 数据库名称。 schema_name String 模式名称。 namespace String 命名空间。
在“字段类型”页面,您可以查看数据类型及不同数据源之间的数据类型映射关系,其中“创建人”为SYSTEM的类型为系统默认的字段类型。 类型分组说明如下: DEFAULT:通用数据类型,未指定数据源类型时建表所用的字段类型。
通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
Y N N N 删除权限跨源同步策略 Y N N N 查询权限跨源同步策略 Y Y Y Y 编辑权限跨源同步策略 Y N N N 查询成员管理 Y Y Y Y 编辑成员管理 Y Y Y N 新建权限集成员 Y Y Y N 删除权限集成员 Y Y Y N 查询权限集成员 Y Y Y
对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 离线处理集成作业不支持在企业模式下运行。
枚举值: MYSQL:MYSQL数据源 DLI:DLI数据源 DWS:DWS数据源 HIVE:HIVE数据源 HBASE:HBASE数据源 connection_name 否 String 数据连接名称。 connection_id 否 String 数据连接ID。
表1 MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。
表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 cloudtable_link ZK链接地址 可通过CloudTable服务的集群管理界面获取该参数值。
src_table_ids String 源表ID。 src_table_names Array of strings 源表名称数组,只读。 src_table_db_names Array of strings 源表db名称数组,只读。
表2 Query参数 参数 是否必选 参数类型 描述 datasource 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 cluster_name 否 String 集群名称。 database_name 否 String 数据库名称。
多源性:同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。 可追溯性:数据的血缘关系,体现了数据的生命周期,体现了数据从产生到消亡的整个过程,具备可追溯性。 层次性:数据的血缘关系是有层次的。
约束与限制 当前仅支持对数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)类型的数据源进行敏感数据识别,且仅支持标准数仓类型的DWS数据源。