检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
out。 原因分析 这种情况是由于表数据量较大，并且源端通过where语句过滤，但并非索引列，或列值不离散，查询会全表扫描，导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。
CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能
CDM不同集群规格对应并发的作业数是多少？ 是否支持增量迁移？ 是否支持字段转换？ Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？ 是否支持批量创建作业？ 是否支持批量调度作业？ 如何备份CDM作业？
参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。
0 是否写入脏数据 选择是否记录脏数据，默认不记录脏数据，当脏数据过多时，会影响同步任务的整体同步速度。 否：默认为否，不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时：
字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型 类别 数据类型（MySQL） 数据类型（Hudi） 说明 字符串 CHAR(M) STRING - VARCHAR(M) STRING
('CEHN','99'); 准备数据集数据。您可以通过以下方式之一获取数据集： 您可以将表1数据导入到DLI表中，然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询
检查用户是否添加CDM访问策略，包含自定义策略或预设策略，如CDM FullAccess、CDM ReadOnlyAccess等，参考CDM权限管理。 检查对应企业项目是否添加拒绝访问策略。 父主题： 数据集成（CDM作业）
是否使用DIS数据通道连接 否 若使用数据通道连接，可以向其他账号的DIS通道发送消息；若不使用，仅能给本账号下所有region的通道发送消息。 数据通道连接名称 否 仅当“是否使用DIS数据通道连接”选择为“是”时，需要配置此参数。 配置本参数前需在管理中心中组件创建DIS连接，然后在此处进行选择。
由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表，因此一个时间限定可能归属于多个数据域。 新建时间限定并发布 在DataArts Studio控制台首页，选择对应工作空间的“数据架构”模块，进入数据架构页面。 （可选）在数据架构控制台，单击左侧导航树中的“配置中心”，
如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig
集群名：环境准备中创建的DWS集群名称。 绑定Agent：环境准备中创建的CDM集群。 创建数据库 在DWS中创建数据库，以“gaussdb”数据库为例。创建数据库的详情请参考新建数据库进行操作。 创建数据表 在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。
Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。 表2 Apache Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
置。 是 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为|。 | 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。
disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量： LATEST：最大偏移量，即最新的数据。 FROM_LAST_STOP：从上次停止处继续拉取。 EARLIEST：最小偏移量，即最早的数据。 fromJobConfig.isPermanency 是
限，当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配，您也可以参考（可选）自定义工作空间角色自定义角色。各角色权限的详细说明请参见权限列表章节。 管理员：工作空间管理员，拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。
通过数据目录查看数据血缘关系 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题： 数据目录典型场景教程
如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单击“添加文件”，选择编辑完成的导入模板。 单击“上传文件”，上传完成
queried task does not exist. 查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。 请检查OBS文件。 400 DLF.1006 The job node is
Studio数据集成、管理中心和数据开发模块，DataArts Studio各版本均可以满足使用要求。 操作流程如下： 准备工作，包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业，将OBS数据迁移到DWS。 数据开发，包含创建DWS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
