检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式，相比Flink1.12的优化参数，Flink 1.15需要在SQL脚本使用SET 'key'='vaule'；进行配置。详细语法请参考SQL Client Configuration。 Flink 1.15新增Flink
未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。 处理步骤 在Flink UI查看task日志，
opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python
初始化DLI客户端 使用DLI SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下： 前提条件 已参考Java SDK概述配置Java SDK环境。
opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON消息。 Flink
步骤2：业务数据的计算与处理 开发导入业务数据的SQL脚本 本节操作介绍提交SQL脚本导入业务数据的操作步骤。 在DataArts Studio数据开发页面，选择左侧导航栏的“数据开发 > 脚本开发”。 单击“新建DLI SQL脚本”。 图10 新建DLI SQL脚本 在脚本编辑页面输入分析数据的示例代码。
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到
Maxwell Format 功能描述 Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式，而且支持使用JSON对消息进行序列化。
sql作业，输入以下作业脚本，并提交运行。该作业脚本将HBase作为数据源，Print作为结果表。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，并提交运行。该作业脚本将DMS Kafka作为数据源，ClickHouse作业结果表。 如下脚本中的加粗参数请根据实际环境修改。 create table orders ( order_id
A样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 认证用的us
Maven安装完成后，可根据开发需要，直接引入依赖到已有的Maven工程或先用开发工具创建Maven工程。 创建项目以idea开发工具为例(已有Maven 工程可跳过此步骤)： 打开IntelliJ IDEA 开发工具。 点击File - New - project... 在New Pro
Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
