检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
huawei.opengauss.jdbc.Driver：连接GaussDB数据源时，选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads
CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器（可选）。 如何获取驱动 不同类型的关系数据库，需要适配不同类型的驱动。注意，上传的驱动版
REBOOT_FAILURE：重启失败。 type String 节点类型，只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结：0：否。1：是。 components String 组件。 config_status
出”，导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务，如无OBS服务，可从本地导入。 在解决方案目录中，右键单击根目录“解决方案”，选择“导入解决方案”，导入已上传到OBS或者本地的解决方案文件。 在硬锁策略下，如果锁在其他人手中，重名策略选
参数说明 auto-compaction boolean false - 文件自动合并开关。数据会先被写入临时文件，当checkpoint完成后，该配置控制检查点内产生的临时文件是否被合并。开启该配置部分场景下可减少小文件数量，但会较大降低同步速率。 刷新源表和目标表映射，单击“目标字段
驱动程序名称，目前支持MySQL jdbc驱动，驱动名为：com.mysql.jdbc.Driver。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱
选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
REBOOT_FAILURE：重启失败。 type String 节点类型，只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结：0：否。1：是。 components String 组件。 config_status
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启
使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。 如果作业出现大批量的失败： 先检查DES
在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
积极拥抱数据资产入表新时代 在当前数字化的浪潮下，数据已经成为劳动力、土地、知识、技术以后的第五大生产要素，“数据即资产”已成为共识。 2024年1月1日起，财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时，备受关注的数据要素市场有望被真正激活。
据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，数据集成支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启
spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
业依赖关系按照业务日期判断。业务日期模式景下，作业实例的生效时间为业务日期。 普通模式切换为业务日期模式时，如果存在多个翻牌目录下的作业偏移量不一致，系统不会一起进行校验，只要校验出其中有一个有问题，就会报错提示“由于翻牌单元xxxxx下的作业的偏移量不一致，不能切换调度模式。”。
Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下：
如何解决HANA集群只有部分节点和CDM集群网络互通？ 问题描述 HANA集群只有部分节点和CDM集群网络互通，怎么办？ 解决方案 如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置： 关闭HANA集群的Statement Rout
Hudi表索引类型。 支持BLOOM和BUCKET索引，数据量较大场景下强烈建议使用BUCKET索引性能更好。 hoodie.bucket.index.num.buckets int 256 个 Hudi表单分区下Bucket桶数。 说明： 使用Hudi BUCKET表时需要设置B
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
