检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源表：源表是Flink作业的数据输入表，例如Kafka等实时流数据输入。 维表：数据源表的辅助表，用于丰富和扩展源表的数据。在Flink作业中，因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全，而维表就是代表存储数据维度信息的数据源。常见的用户维表有 MySQL，Redis等。
Flink SQL 对于标识符（表、属性、函数名）有类似于 Java 的词法约定: 不管是否引用标识符，都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于，通过反引号，可以允许标识符带有非字母的字符（如："SELECT a AS `my field` FROM
步骤4：创建增强型跨源连接 创建DLI连接Kafka的增强型跨源连接 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取获取该实例的“虚拟私有云”和“子网”信息，方便后续操作步骤使用。
第一行凭据值的键为MySQLUsername，值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword，值为RDS实例的密码。 图1 设置凭据值 按需完成其他参数的配置后，单击“确定”保存凭据。 了解更多请参考创建通用凭据。 在DLI作业中使用DEW中创建的凭据 以F
DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化，并且提供了企业级的一站式开发平台，自带开发和运维功能，免除自建集群运维的麻烦；在connector方面除了支持开源connector之外，还可以对接云上Mysql、GaussDB、MRS
描述 database_name Database名称，由字母、数字和下划线（_）组成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 obs_path Obs路径，表示Delta表的存储位置。 timestamp_expression 时间戳，
设置SQL作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个SQL设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
实例列表”，然后单击“创建Prometheus实例”。 设置实例名称、企业项目和实例类型信息。 表1 配置Prometheus实例 参数名称 说明 实例名称 Prometheus实例的名称。 企业项目 所属的企业项目。 如果在全局页面设置为“ALL”，此处请从下拉列表中选择企业项目。 如果在全局页面已选择企业项目，则此处灰化不可选。
登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。
Integer 将记录写入数据库失败时的最大重试次数。 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 数据类型映射 表1 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型
可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使用量分析和成本核算。
参数配置完成后单击“立即创建”，等待Notebook实例创建完成。 配置Notebook实例连接DLI。 在Notebook实例的列表中单击操作类的“打开”跳转至Notebook实例页面。 在Notebook实例页面单击右上角的“connect”连接DLI。 图2 连接DLI 在Connect
BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题： Flink Opensource
SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。
使用JDBC作为数据源，Print作为sink，从RDS MySQL数据库中读取数据，并写入到Print中。 参考增强型跨源连接，根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组，添加入向规则使其对Flink的队列网段放通。参
的作业的计算资源。 Flink 1.12及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级，其取值为1-10，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即如果高优先级作业计算资源不足，则会减少低优先级作业的计算资源 通用队列上运行的Flink作业优先级默认为5。
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试）。如果能
SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数据写入到Mysql或DWS时，在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证
池的实际CUs。 当弹性资源池队列的最大CU的和小于弹性资源池的实际CUs时，会触发弹性资源池缩容，缩容后的实际CUs= min（队列的最大CU和，弹性资源池CU范围最大值）。 通过“规格变更”将弹性资源池规格调整为80CUs，规格变更后，CU范围的最小值自动调整为与规格一致大小的CU。
维表配置，数据拉取最大重试次数，默认为3。 pwd_auth_name 否 DLI侧创建的Password类型的跨源认证名称。 数据类型映射 表2 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT UNSIGNED
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
