检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？ 问题描述 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析
存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台，在服务列表中选择“云审计服务 CTS”，进入云审计服务控制台。 在云审计服务控制台，默认展示事件列表，您可以通过筛选来查询对应的操作事件。 其中，CDM的操作事件您可以在“事件来源”中筛选“CDM”进行查看。
Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？ MRS Hive，MRS Kafka，MRS Hudi数据源在创建连接时，单击“选择”选定MRS集群，Manager IP获取到IP如果长度校验不通过，如下图所示。 解决方法 单击服务列表，搜索“MRS”，进入MRS控制台。
且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
Redis连接 介绍 通过Redis连接，可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。
CloudTable），SAP HANA OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 Microsoft SQL Server建议使用的版本：2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。
CloudTable），SAP HANA OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 Microsoft SQL Server建议使用的版本：2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。
HBase，MRS Hive 除了表格存储服务（CloudTable）外，其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移，可以通过其他方式进行，请参见自建Redis迁移至DCS。 Redis 文档数据库服务（DDS） MongoDB 表格存储服务（CloudTable HBase）
HBase，MRS Hive 除了表格存储服务（CloudTable）外，其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移，可以通过其他方式进行，请参见自建Redis迁移至DCS。 Redis 文档数据库服务（DDS） MongoDB 表格存储服务（CloudTable HBase）
查询后台日志，报错为连接超时，截图如下，可能是安全组限制导致。安全组全部放通进行验证，连通性测试成功。 针对FTP服务器的防火墙来说，必须允许以下通讯才能支持主动方式FTP： 1. 任何大于1024的端口到FTP服务器的21端口（客户端初始化的连接）。 2. FTP服务器的21端口到大于1024的端口（服务器响应客户端的控制端口）。
支持的数据源（2.9.2.200） 数据集成有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。
支持的数据源（2.9.2.200） 数据集成有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。
如果系统预置的CDM权限策略，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考策略和授权项。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式，如果没有使用WH
e”、“a.b.d.f”。 否 过滤条件 可选参数，CDM只迁移满足过滤条件的数据。 当前仅支持通过Elasticsearch的query string（即q语法）方式对源数据进行过滤。q语法使用方式介绍如下： 精确匹配时，直接使用column:data格式进行匹配过滤。其中column
约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera
勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移，但因为“重复文件处理方式”选择了“跳过重复文件”，相同名称且相同大小的文件不迁移，所以只会上传每天新增的文件。 单击“保存”，完成CDM的增量同步配置。 父主题：
是 String 关系表行数据在Redis中的存储方式分为“string”和“hash”两种存储方式。 STRING：表示用字符串通过分隔符来表示一行数据的各列，可以有效节省存储空间。 HASH：表示一行数据通过“列名：列值”的方式存储在hash表中。 fromJobConfig.valueSeparator
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
