检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CloudTable连接参数说明 连接CloudTable时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接
实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中，您可以新建SDI层和DWI层两个模型，模型最终是通过物理建模进行落地的。除了将逻辑模型转换外为物理模型外，您也可以参考本章节直接新建一个物理模型。
MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连
now()}”用来标识当前日期字符串。 新建转换器 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下：
下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads.mysql.com/archives/c-j/，建议5.1.48版本。 PostgreSQL驱动：获取地址https://mvnrepository.com/artifact/org
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码，支持映射为自定义信息。 例如，将“DLM.0”错误码映射为“OK”。 结果集映射
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。 表1 FTP/SFTP连接参数
达梦数据库 DM连接参数说明 连接达梦数据库 DM时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
Oracle数据库连接参数说明 连接Oracle数据库时，连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据
分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 分库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源
段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图9 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”，如图10所示。 y、ym、ymd字段的表达式分别配置如下： DateUtils.format(DateUtils
ientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值，就自动断开，正常情况下，客户端会正常响应。 修改后，重启ECS的sshd，执行如下命令： restart sshd.service 检查sshd是否启动成功（下图为成功）： 父主题： 数据开发
“驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads.mysql.com/archives/c-j/，建议5.1.48版本及以上版本，如果低于5.1.48版本则连接会报错“The
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型
ROMA FDI Job 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务，实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置，请参考以下内容： 表1 属性参数 参数
自定义参数配置完成后，单击左上角的“保存”，在弹窗中单击“确定”保存配置。 图4 保存配置 保存成功后，切换到实例页签，选择配置已过期的实例后，单击“更多 > 滚动重启实例”，使配置生效。 图5 滚动重启实例 父主题： 采集数据源的元数据
端发生的事件而丢失，但可能会在 Flink 重启时重复，因为 Flink 会重新处理旧数据。 exactly-once：该模式下，Kafka sink 会将所有数据通过在 checkpoint 时提交的事务写入。因此，如果 consumer 只读取已提交的数据，在 Flink 发生重启时不会发生数据重复。然而这会使数据在
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
版本。 原因分析 该作业内的脚本还没有提交版本，就开始执行调度，导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。 解决方案 切换到脚本开发，找到对应脚本。 提交脚本版本。 执行作业调度。 父主题： 数据开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
