检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置元数据实时同步的数据库和数据表范围,不填写默认不筛选。 可填写为如下两种形式之一: database_name:筛选数据库名包含“database_name”的数据库 database_name.table_name:筛选数据库名包含“database_name”的数据库,在匹配到的数据库中再匹配
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过
新建数据分类(待下线) 本章主要介绍如何创建数据分类规则。 在已上线数据安全组件的区域,数据目录中的数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。
和下线审核中状态的数据表不可被删除。且数据被引用的数据表不可被删除。 下线 单击“更多 > 下线”,可以下线已发布且不带下展的数据表。数据被引用的数据表不支持下线。 “带下展”,指发布审核后又重新编辑的数据。 发布 单击“发布”,可发布数据表。发布审核中、下线审核中、已发布(不带
选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。 每种数据源的连接参数不同,您可以根据所选择的连接器类型在表1中查找对应参数。 表1 连接参数分类 连接器类型 参数说明 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL
不更新:不更新数据库中的表。 依据DDL更新模板:依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致
业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实表,与多维模型所属的业务对象保持一致,与多维模型中的最细数据粒度保持一致。 原子指标中仅含有唯一度量,所含其它所有与该度量、该业务对象相关的属性,旨在用于支撑指标的敏捷自助消费。
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据所属的桶。 源目录或文件:待迁移数据的具体路径。 文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。 资源队列:选择目的表所属的资源队列。
970-01-01T00:00:00Z。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info ApprovalVO
HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。
配置需要连接的数据库。 当“适用组件”勾选“数据集成”时,参数“数据库名称”到“引用符号”才需要配置,其中数据库名称为必填项。 使用本地API 否 开关开启时,使用本地API加速。 开关关闭时,不使用本地API加速。 使用数据库本地API加速。(系统会尝试启用MySQL数据库的local_infile系统变量)
数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String
只有数据开发作业配置了周期调度,才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法
示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀,类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式: STRING:不带列名,如“值1,值2”形式。 HASH:带列名,如“列名1=值1,列名2=值2”的形式。 STRING
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DAT
100)。 数据表 表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值,即:∑数据库下所有数据表评分/表的数量。 数据连接 数据连接下所有数据库评分的加权平均值,即:∑数据连接下所有数据库的评分/数据库的数量。 在DataArts
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
配置元数据实时同步的数据库和数据表范围,不填写默认不筛选。 可填写为如下两种形式之一: database_name:筛选数据库名包含“database_name”的数据库 database_name.table_name:筛选数据库名包含“database_name”的数据库,在匹配到的数据库中再匹配