检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API，也有部分API不支持用户调用，例如涉及事务调用的API“prepareCall”，调用这类API将抛出“SQLFeatureNotSupportedException”异常
提交请求成功时，生成并提交一个新的作业，返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 job_mode 否 String 作业执行模式： async：异步 sync：同步 请求示例 将SQL语句的查询结果导出到OBS中以json格式存储。 { "data_path": "obs://obs-bucket1/path"
commits.retained=10 // 默认值为10，根据业务场景指定 Flink（with属性里设置如下参数，写数据时触发） clean.async.enabled=true clean.retain_commits=10 // 默认值为10，根据业务场景指定 手动触发1次clean
回值中的result_path来获取。结果的全量数据会自动导出到作业桶。 job_mode 否 String 作业执行模式： async：异步 sync：同步 请求示例 提交SQL作业，该作业执行的数据库为db1、队列为default，并为该作业设置标签workspace=space1；jobName=name1。
commits=5 // 默认值为5，根据业务场景指定 Flink（with属性里设置如下参数，写数据时触发） compaction.async.enabled=false compaction.schedule.enabled=true compaction.delta_commits=5
此SQL将生成并提交一个新的作业，返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 job_mode 否 String 作业执行模式： async：异步 sync：同步 请求示例 将存储在OBS的csv类型的数据导入db2.t2。 { "data_path": "obs://home/data1/DLI/t1
Flink流任务建表语句/SQL hints中添加如下参数，控制Flink任务写Hudi时只会生成Compaction plan。 'compaction.async.enabled' = 'false' // 关闭Flink 执行Compaction任务 'compaction.schedule
预合并键，相同主键的多条数据按该字段进行合并 按需 必须指定，相同主键的数据会按该字段合并，不能指定多个字段。 禁止建表时将hoodie.datasource.hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息，查询引擎读取该时会丢数。
min.commits = 121; // 归档最小保留121个commit set hoodie.clean.async = false; // 打开异步清理 set hoodie.clean.automatic = false;
limit 2147483648 否 单个查询的内存限制。默认为 2GB，单位为字节。 doris.deserialize.arrow.async FALSE 否 是否支持异步转换 Arrow 格式到 flink-doris-connector 迭代所需的 RowBatch。 doris
zookeeper.znode.parent 否 /hbase String HBase集群的Zookeeper根目录。 lookup.async 否 false Boolean 是否设置异步维表。 lookup.cache.max-rows 否 -1 Long 维表配置，缓存的最
zookeeper.znode.parent 否 /hbase String HBase集群的Zookeeper根目录。 lookup.async 否 false Boolean 是否设置异步维表。 lookup.cache.max-rows 否 -1 Long 维表配置，缓存的最
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON消息。 Flink
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到
Maxwell Format 功能描述 Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式，而且支持使用JSON对消息进行序列化。
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
A样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
