检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如“index201812”。 不创建：选择此项表示不创建定时索引。 从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 每小时 父主题： 配置CDM作业目的端参数
消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文
超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 分支2 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 ... 分支n 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。
目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS
Schema名和表名，其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图7 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？ 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项
表是否可配置生命周期管理？ 问题描述 表是否可配置生命周期管理。 解决方案 目前暂不支持表生命周期管理的配置。 父主题： 数据架构
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3
配置数据安全策略（待下线） 数据安全简介 新建数据密级 新建数据分类 配置脱敏策略 父主题： 数据目录
合理配置基线承诺时间和预警余量 本章节介绍如何合理的配置基线承诺时间和预警余量。 基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。 基线承诺时间是任务运行成功的最晚时间点。即面向数据应用，任务承诺在该时间点前完成。如
Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考 Apache Kafka官方文档 中的配置说明。 配置目的端参数。 图5 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka
能越长，请耐心等待。 图6 逻辑表预览 配置目的端参数。 图7 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则 表6 目标Topic名称规则 同步场景 配置方式 整库 配置源端MySQL库表与目的端Kafka To
C内的子网共享给当前账号，由当前账号在购买DataArts Studio时选择共享VPC子网。通过共享VPC子网功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 subnet-1
注意，只有当CDM集群在关联了工作空间后，才能在所关联的工作空间中使用该CDM集群。 图2 关联工作空间 实时集成资源组关联工作空间 父主题： 购买并配置DataArts Studio
目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式
指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后，呈现此参数。 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connect
目标端库名：数据将同步至指定的Hudi库中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图9 分库分表场景下源库表和目标匹配策略 Hudi参数配置。 其余Hudi目的端参数说明请参考表7。 图10 Hudi目的端配置项 表7 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hud
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
