检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业”。 在创建队列界面,类型选择“Flink OpenSource SQL”,名称填写为:FlinkCDCMySQLDWS。单击“确定”,跳转到Flink作业编辑界面。 在Flink OpenSource SQL作业编辑界面,配置如下参数,其他参数默认即可。 所属队列:选择步骤1:创建队列中创建的队列。
作业”。 在创建作业界面,作业类型选择“Flink OpenSource SQL”,名称填写为:FlinkKafkaRds。单击“确定”,跳转到Flink作业编辑界面。 在Flink OpenSource SQL作业编辑界面,配置如下参数,其他参数默认即可。 所属队列:选择步骤1:创建队列中创建的队列。
闭此功能。由于批处理中分区中插入记录的数量众多,总会出现小文件。Hudi提供了一个选项,可以通过将对该分区中的插入作为对现有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte hoodie.copyonwrite.insert
如果作业运行失败则作业状态显示为“已失败”,单击“操作”列“更多”下的“Driver日志”,显示当前作业运行的日志,分析报错原因。 图18 查看Driver日志 原因定位解决后,可以在作业“操作”列,单击“编辑”,修改作业相关参数后,单击“执行”重新运行该作业即可。 后续指引 如果您想通过Spark Jar作业
在创建队列界面,类型选择“Flink OpenSource SQL”,名称填写为:FlinkCDCPostgreDWS。单击“确定”,跳转到Flink作业编辑界面。 在Flink OpenSource SQL作业编辑界面,配置如下参数,其他参数默认即可。 所属队列:选择步骤1:创建队列中创建的队列。
”,单击进入RDS页面。在“实例管理页面”,找到您已经创建的RDS实例,获取其内网地址。 图5 内网地址 单击所创建RDS实例的“登录”,跳转至“数据管理服务-DAS”。输入相关账户信息,单击“测试连接”。显示连接成功后,单击“登录”,进入“实例登录”页面。 图6 实例登录 登录