检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线，无需配置。 - 单次请求行数 指定每次请求获取的行数。
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
查询不合理的权限配置 功能介绍 查询不合理的权限配置。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/unreasonable-permissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。 导入前准备语句的执行不会影响即将写入的数据内容。 {"type":"remove"
部分数据清除操作。 是 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 父主题： 配置CDM作业目的端参数
作业配置了周期调度，但是实例监控没有作业运行调度记录？ 可能原因 作业配置了周期调度，但是实例监控没有作业运行调度记录。可能原因是作业未启动调度或者依赖作业未执行完成。 解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中，只有调度中的作业到了调度周期后才会调度。
、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如： SQLServer默认端口：1433
Schema名和表名，其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图7 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张
消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文
Studio数据连接。 配置企业模式环境隔离 配置开发、生产环境的DLI队列和DB映射配置的环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群资源，则需要在同一个数据湖服务下配置两套数据库，进行开发与生产环境隔离，具体请参见DB配置。 对于
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入
目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。
SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。
C内的子网共享给当前账号，由当前账号在购买DataArts Studio时选择共享VPC子网。通过共享VPC子网功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 subnet-1
和表名，其中表匹配策略必须包含#{source_table_name}。 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图6 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式 COPY模式：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
