检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择连接器类型 连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图5所示。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。
锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步所有Kafka消息，其中支持对JSON或CSV格式的消息体进行解析。 注意事项 除了
IF条件判断教程 当您在数据开发模块进行作业开发编排时，想要实现通过设置条件，选择不同的执行路径，可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来
数据库的用户名，创建集群的时候，输入的用户名。 密码 是 数据库的访问密码，创建集群的时候，输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_
挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。
本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导，每个实践我们提供了详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS
Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
到DWS的任务。 图4 创建Oracle到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_cluster”，为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spar
展开查看血缘的上下链路。 单击血缘图中的某一个节点，可以查看该节点的详情。 进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘 在数据资产搜索结果中，图标为表格的数据资产为表，单击某一表名称，可以查看表的详情。在详情页面，可以查看表的血缘信息。 单
解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount
入SQL语句，通过SQL语句来实现统计前一天的销售额。 图1 开发脚本 关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接：创建DWS的数据连接中已创建的连接。 开发DWS SQL作业 DWS SQL脚本开发完成后，我们为DWS
”，且源端、目的端都为对象存储时，才有该参数。 选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 toJobConfig
管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML：包括I
方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图1所示。 图1
连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知
合通配符条件的索引。例如这里配置为cdm*时，CDM将迁移所有名称为cdm开头的索引：cdm01、cdmB3、cdm_45…… 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的索引，这里可以选择一个云搜索服务中已存在的索引，也可以手
索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组不同Region场景下，通过云连接打通网络的方案。 图1 网络示意图
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
