检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单表同步:支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步:支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 分库分表同步:支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 实时同步任务配置
只能以英文字母开头,支持英文字母、数字、下划线。 数据类型 显示该字段名称的数据类型。 配置类型 表示该字段名称对应的配置类型。比如衍生指标。 关联对象 表示该字段名称的配置类型对应的关联对象。比如衍生指标的名称。 主键 选中时表示该字段为主键。 说明: 数据连接为MRS Spark连接(通过MRS Spark连接支持MRS
于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化,请参见目的端数据源的相关说明文档。 父主题: 优化迁移性能
作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取
创建数据库连接的相关信息:包括用于创建数据库类型数据源所需的数据库IP、端口、用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts
息又形成了新的数据,不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,w
作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取
买即可进入DataArts Studio实例创建界面。 图1 试用初级版 试用初级版注意事项: 云产品体验名额有限,领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级:用户试用过程中,主动进行升配等操作,将按照官网标准价格收费;如果进行降配或切换计费方式等,将不进行退费。
息又形成了新的数据,不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,w
理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。 您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。
单次请求行数 指定每次请求获取的行数。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 自定义连接属性。 useCompression=true
、内置等类型。 正则表达式举例:“^男$|^女&”。 匹配对象:规则识别的数据对象。包含表的列内容、列名称、列注释、表名称、表注释、数据库名等。 表达式/规则模板:按照所选的识别规则填写规则表达式,该表达式将用于匹配对象的识别。 操作:可删除此条子规则内容,或再新建一条子规则 *条件表达式
“OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生,通知则触发调度。
逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。 同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,是最终成功设计数据库过程中必不可少的一个阶段。
大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
创建DataArts Studio数据连接。DWS数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 行级访问控制为指定用户/用户组在数据源上关联策略,因此需要先将IAM上的用户信息
作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取
下图所示。 需要分别配置源端和目的端的信息。配置源端连接请参见DWS数据连接参数说明,配置目的端连接请参见DLI数据连接参数说明。 配置告警条件,其中单击左侧的表行数(${1_1})表示左侧源端选中表的行数,单击右侧表行数(${2_1})表示目的端表行数。此处配置告警条件为${1_1}
发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实表,与多维模型所属的业务对象保持一致,与多维模型中的最细数据粒度保持一致。 原子指标中仅含有唯一度量以及与该度量相关的属性,旨在用于支撑指标的敏捷自助消费。 敏捷自助
计算逻辑),不需要二次或者重复研发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标中仅含有唯一度量,所含其它所有与该度量、该业务对象相关的属性,旨在用于支撑指标的敏捷自助消费。 约束与限制 单工作空间允许创建的原子指标个数最多5000个。 前提条件 已创建数据连接,具体操作请参见配置DataArts