检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
单击“Add”，在策略列表可查看策略的基本信息。等待策略生效后，验证相关权限是否正常。 如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabled”。 如果不再使用策略，可单击按钮删除策略。
在UDF列表中，可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息（只能删除未被使用的UDF项）。 （可选）如果需要立即运行或开发作业，可在“作业管理”进行相关作业配置，可参考创建FlinkServer作业。
- name: "countBolt --> kafkaBolt" #第三个数据流 from: "countBolt" to: "kafkaBolt" grouping: type: SHUFFLE #分组方式为shuffle，无需传入参数 部署运行及结果查看
查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 数据导入
- name: "countBolt --> kafkaBolt" #第三个数据流 from: "countBolt" to: "kafkaBolt" grouping: type: SHUFFLE #分组方式为shuffle，无需传入参数 部署运行及结果查看
查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 创建Loader数据导入作业
图4 查看HDFS目录和文件 父主题： 配置Flume非加密传输数据采集任务
表1 结构图说明 名称 描述 Client YARN Application客户端，用户可以通过客户端向ResourceManager提交任务，查询Application运行状态等。 ResourceManager(RM) 负责集群中所有资源的统一管理和分配。
单击“刷新”，在“目录名称”查看筛选的目录。 单击“同步”保存筛选结果。 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。
$HADOOP_HOME/etc/hadoop jar $HCAT_CLIENT/hcatalog-example-1.0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看
kafkaBolt, 10).shuffleGrouping("count-bolt"); // 命令行提交拓扑 StormSubmitter.submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看
图4 查看HDFS目录和文件 父主题： 配置Flume非加密传输数据采集任务
观察数据传输是否生效，例如在Oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
$HADOOP_HOME/etc/hadoop jar $HCAT_CLIENT/hcatalog-example-1.0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看
作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true，表示使用keytab文件登录 false，表示使用密码登录。
登录Manager，选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是，执行1.c。 否，Yarn状态不健康，执行1.b。 修复Yarn异常，任务结束。 确定修改NodeManager的存储目录场景。
在集群客户端内执行hdfs dfs -ls -h /user/命令查看迁移目的端集群中已迁移的文件。 （可选）如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群，则配置定期任务增量迁移数据，直到所有业务迁移至目的端集群。
观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
图4 查看HDFS目录和文件 父主题： 配置Flume非加密传输数据采集任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
