检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。
批量删除作业 功能介绍 该API可用于批量删除任何状态的作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/delete 参数说明 表1 URI参数说明 参数名称 是否必选
批量停止作业 功能介绍 该API用于批量停止正在运行的作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/stop 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
I程序包。 Flink1.15及以上版本在创建作业时仅支持配置OBS中的程序包，不支持读取DLI程序包。 Flink版本 Flink版本是选择作业运行时所使用的Flink的版本。不同版本的Flink支持不同的特性。 了解更多Flink版本的信息请参考DLI Flink版本说明。 选择使用Flink1
>“Flink作业”，进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 根据实际需求编辑作业。 具体请参考创建Flink OpenSource SQL作业，创建Flink Jar作业。 启动作业 用户可以启动已创建保存的作业或已经停止的作业。
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。
如何给子用户授权查看Flink作业？ 子用户使用DLI时，可以查看队列，但是不能查看Flink作业，可以通过在DLI中对子用户授权，或在IAM中对子用户授权： DLI授权管理 使用租户账号，或者作业owner账号，或有DLI Service Administrator权限的账号，登录DLI控制台。
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明，示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal
批量运行作业 功能介绍 该API用于触发批量运行作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/run 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
max-actions 否 批量写入时的每次最大写入记录数 connector.bulk-flush.max-size 否 批量写入时的最大数据量，当前只支持MB，请带上单位 mb connector.bulk-flush.interval 否 批量写入时的刷新的时间间隔，单位为milliseconds，无需带上单位
Flink OpenSource SQL 1.15版本使用说明 如果您的作业是从Flink1.12版本切换至Flink 1.15，在使用Flink OpenSource SQL 1.15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式，相比Flink1
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据
14:14:14", "map": { "flink": 123 }, "mapinmap": { "inner_map": { "key": 234 } } } flink opensource sql create table
Maxwell应用允许将每个变动消息精确地传递一次。在这种情况下，Flink在消费Maxwell生成的消息时处理得很好。如果Maxwell应用程序在at-least-once模式处理，它可能向Kafka写入重复的改动消息，Flink将获得重复的消息。这可能会导致Flink查询得到错误的结果或意外的异常。因此，在这种情况下，建议将作业配置table
是LITERAL的时候，指定字符串常量替换 Map 中的空 key 值。 示例 该示例是从kafka的一个topic中读取数据，并使用kafka sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置
数据维度信息的数据源。常见的用户维表有 MySQL，Redis等。 结果表：Flink作业输出的结果数据表，将每条实时处理完的数据写入的目标存储，如 MySQL，HBase 等数据库。 示例： Flink 实时消费用户订单数据的 Kafka 源表，通过Redis维表将商品ID关联
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
JSON schema。 在 Flink 中，JSON Format 使用 jackson databind API 去解析和生成 JSON。 下表列出了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。 表2 数据类型映射 Flink SQL类型 JSON类型 CHAR
Flink作业概述 DLI支持的两种类型的Flink作业： Flink OpenSource SQL类型作业： 完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作
UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史，等等。 Flink 还支持将 Flink SQL 中的 INSERT / UPDATE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
