检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要先在kibana中创建管道ID，这里才可以选择，该参数用于数据传到云搜索服务/Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。 toJobConfig.createIndexStrategy 否 枚举 对于持续写入数据到Elast
S），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数
其中时间分区需要用户指定一个源端表名，选择一个时间转换格式。 比如时间分区用户指定一个源端表名src_col_1，选择一个时间转换格式，日(yyyyMMdd)、月(yyyyMM)、年(yyyy)，自动建表时会在Hudi表默认创建一个cdc_partition_key的字段，系统会根据配置的时间转换格式将源端字段(
其中时间分区需要用户指定一个源端表名，选择一个时间转换格式。 比如时间分区用户指定一个源端表名src_col_1，选择一个时间转换格式，日(yyyyMMdd)、月(yyyyMM)、年(yyyy)，自动建表时会在Hudi表默认创建一个cdc_partition_key的字段，系统会根据配置的时间转换格式将源端字段(
单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失
不建议直接抢锁处于他人锁定状态的脚本/作业，这会导致他人的修改丢失。如果您有修改需求，请先联系锁定人将脚本/作业解锁，然后再抢锁。 图1 锁定状态转换图 前提条件 已完成脚本开发任务。 解锁脚本 提交脚本会将当前开发态的最新脚本保存并提交为版本，并覆盖之前的脚本版本。为了便于后续其他开发
不建议直接抢锁处于他人锁定状态的脚本/作业，这会导致他人的修改丢失。如果您有修改需求，请先联系锁定人将脚本/作业解锁，然后再抢锁。 图1 锁定状态转换图 前提条件 已完成作业开发任务。 解锁作业 “提交”会将当前开发态的最新作业保存并提交为版本，并覆盖之前的作业版本。为了便于后续其他开发
问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组，或者用户所在的用户组权限策略是否有变更？ 如果有变更，请重新登录即可解决。 父主题： 数据开发
transType 否 Boolean true：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，就依然当字符串写入。 该功能
如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图5 云搜索服务的字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能：
目前CDM支持连接的Hive数据源有以下几种： MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时，才能在字段映射时看到表。
如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图7 云搜索服务的字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能：
动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换，详细请参见字段转换。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，
DLI连接参数说明 连接数据湖探索（DLI）服务时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予
目前CDM支持连接的HDFS数据源有以下几种： MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS HDFS 连接MRS上的HDFS数据源时，相关参数如表1所示。 当前暂
DIS连接参数说明 连接DIS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DIS连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
Cassandra连接参数说明 2.9.3.300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接
CDM可以跨账户使用吗？ CDM集群是否支持升级操作？ CDM迁移性能如何？ CDM不同集群规格对应并发的作业数是多少？ 是否支持增量迁移？ 是否支持字段转换？ Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？
YASHAN连接参数说明 连接YASHAN时，相关参数如表1 YASHAN连接参数所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 YASHAN连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的
ClickHouse连接参数说明 连接MRS ClickHouse时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
