检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本示例通过创建PostgreSQL CDC源表来监控Postgres的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS Postgres实例。本示例创建的RDS Postgres数据库版本选择为：11。 具体步骤可参考：RDS PostgreSQL快速入门。
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
enabled=true可以开启最小化提交功能。 说明： Flink Jar作业最小化提交是指Flink仅提交作业必须的依赖项，而不是整个Flink环境。通过将非Connector的Flink依赖项（以flink-开头）和第三方库（如Hadoop、Hive、Hudi、Mysql-cdc）的作用域设置为pro
Hadoop jar包冲突，导致Flink提交失败 问题现象 Flink 提交失败，异常为： Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop
在DLI管理控制台，单击“作业管理 > Flink作业”，在Flink作业管理界面，单击“创建作业”。 在创建队列界面，类型选择“Flink OpenSource SQL”，名称填写为：FlinkKafkaES。单击“确定”，跳转到Flink作业编辑界面。 在Flink OpenSource S
Flink OpenSource SQL 1.15版本使用说明 如果您的作业是从Flink1.12版本切换至Flink 1.15，在使用Flink OpenSource SQL 1.15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式，相比Flink1
Flink Jar作业运行报错，报错信息为Authentication failed 问题现象 Flink Jar作业运行异常，作业日志中有如下报错信息： org.apache.flink.shaded.curator.org.apache.curator.ConnectionState
>“Flink作业”，进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 根据实际需求编辑作业。 具体请参考创建Flink OpenSource SQL作业，创建Flink Jar作业。 启动作业 用户可以启动已创建保存的作业或已经停止的作业。
Flink作业概述 DLI支持的两种类型的Flink作业： Flink OpenSource SQL类型作业： 完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作
14:14:14", "map": { "flink": 123 }, "mapinmap": { "inner_map": { "key": 234 } } } flink opensource sql create table
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下，这对于利用此功能很有用。 例如： 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
如何给子用户授权查看Flink作业？ 子用户使用DLI时，可以查看队列，但是不能查看Flink作业，可以通过在DLI中对子用户授权，或在IAM中对子用户授权： DLI授权管理 使用租户账号，或者作业owner账号，或有DLI Service Administrator权限的账号，登录DLI控制台。
存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，O
feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic
Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Fli
数据维度信息的数据源。常见的用户维表有 MySQL，Redis等。 结果表：Flink作业输出的结果数据表，将每条实时处理完的数据写入的目标存储，如 MySQL，HBase 等数据库。 示例： Flink 实时消费用户订单数据的 Kafka 源表，通过Redis维表将商品ID关联
根据算子并行数按需申请。 cu_number = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 manager_cu_number 否 Integer 管理单元CU数。 parallel_number 否 Integer 最大并行度。 并行数为作业
作为结果表，从RDS MySQL数据库中读取数据，并写入到Print结果表中。 参考增强型跨源连接，根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组，添加入向规则使其对Flink的队列网段放通
确认当前用户所属用户组下的权限是否包含OBS写入的权限，比如“OBS OperateAccess”。如果没有OBS写入权限，则给对应的用户组进行授权。 授权完成后，等待5到10分钟等待权限生效。再次运行失败的Flink SQL作业，查看作业运行状态。 父主题： Flink SQL作业类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
