检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL > Hudi支持的字段类型
息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置： 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。 从最新位置读取：每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略： 挂起 忽略失败，读取下一个事件
MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ 问题描述 MySQL到DWS链路 ，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段，如果该字段在MySQL中出现null值那么，写入到DWS中将会报错，报错信息如下：
息头。 表3 参数说明 参数名 是否必选 类型 描述 jobParams 否 List<JobParam> 作业启动的参数。 start_date 否 Long 启动日期。比如：20241030 ignore_first_self_dep 否 boolean 忽略首天依赖。 表4
MySQL迁移时报错“JDBC连接超时”怎么办？ 问题描述 MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out。 原因分析 这种情况是由于表数据量较大，并且源端通过where语
MySQL迁移时报错：invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0，但没有true和false的数据，但MySQL迁移时读取到的是true或false，提示报错信息：Unable to execute the SQL
MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ 问题描述 1. 运行migration mysql2dws链路的实时同步作业，DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下，源端MySQL执行DDL语句，添加带非空约束的列，默认值为空字符串，如：alter
类型为“云数据库 MySQL”，单击“下一步”，然后如下图所示配置连接参数，单击“保存”。 表2 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。
包含中文、英文字母、数字和下划线，且只能以中文或英文字母开头。 如图2所示，在新建通用限定区域，通过以下配置新建一个通用限定。 限定名称：指定通用限定的名称。 添加条件(且)：单击该下拉框，选择“且条件”或者“或条件”可以添加相应的条件，然后在字段下拉框中选择一个字段，并根据页面提示设置条件。您可以添加多个条件。
使用本地API 否 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的会
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址，且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户
启动、调度、停止采集任务 功能介绍 启动、调度、停止采集任务。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/{task_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
作业任务参数说明 在指定集群创建作业或者随机集群创建作业并执行时，由“driver-config-values”参数指定作业任务配置，包含如下功能： 作业失败重试：如果作业执行失败，可选择是否自动重新启动作业。 作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批
CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据： 云账号的用户名、账号名和项目ID。
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
MRS_CLICKHOUSE模型仅支持CLICKHOUSE_TABLE。 Oracle模型仅支持ORACLE_TABLE。 MySQL模型仅支持MYSQL_TABLE。 DORIS模型仅支持DORIS_TABLE。 路径 该参数仅数据源为MRS_HIVE且表类型选择HIVE_EXTERNAL_TABLE时有效。
表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本，获取mysql-connector-java-5.1.48.jar Oracle
桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。 入口类 是 指定加载的Jar包类名，如KafkaMessageStreaming。 默认：根据Jar包文件的Manifest文件指定。 指定：需要输入类名并确定类参数列表（参数间用空格分隔）。 说明： 当类属于某个包
件都会被解压。 * 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 否 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
