检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
Maven安装完成后，可根据开发需要，直接引入依赖到已有的Maven工程或先用开发工具创建Maven工程。 创建项目以idea开发工具为例(已有Maven 工程可跳过此步骤)： 打开IntelliJ IDEA 开发工具。 点击File - New - project... 在New Pro
'postgresql://ip:port/database' 说明： 将数据库连接地址设置为DWS数据库地址，即可创建DWS维表。DWS数据库版本大于8.1.0后，无法用开源的postgresql驱动连接，需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。 db_columns
'postgresql://ip:port/database' 说明： 将数据库连接地址设置为DWS数据库地址，即可创建DWS维表。DWS数据库版本大于8.1.0后，无法用开源的postgresql驱动连接，需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。 db_columns
想要使用扫描套餐包计费，购买队列还要额外收费吗？ 按数据扫描量计费是针对默认default 队列，即使用default队列时，是按扫描量计费。 您单独购买的队列 ，可选择按需计费（按CU时计费）或包年包月计费。 具体的计费模式请参考：计费说明。 父主题： 计费相关问题
SQL语法参考》。 发布区域：全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS 2.0支持DLI Spark作业 DLI在开源Spark基础上进行了大量的性能优化与服务化改造，兼容Apache Spark生态和接口，执行批处理任务。 DLI还支持使用Spark作业
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON消息。 Flink
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON消息。 Flink
移除重复数据，就像窗口TopN一样。理论上，窗口是一种特殊的窗口 Top-N：N是1并且是根据处理时间或事件时间排序的。 更多介绍和使用请参考开源社区文档：窗口去重。 语法格式 SELECT [column_list] FROM ( SELECT [column_list],
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例（Demo） DLI是否存在Apache Spark 命令注入漏洞（CVE-2022-33891）？ 怎样管理在DLI上运行的作业 怎样修改DLI上已经创建好的表的字段名称？
upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。更多具体使用可参考开源社区文档：Raw Format。 支持的Connector Kafka Upsert Kafka Filesystem 参数说明 表1 参数
窗口不会产生状态过大的问题。可以提供一个合适的状态 time-to-live (TTL) 配置来防止状态过大。注意：这可能会影响查询结果的正确性。 更多介绍和使用请参考开源社区文档：分组聚合。 DISTINCT 聚合 DISTINCT 聚合在聚合函数前去掉重复的数据。下面的示例计算 Orders 表中不同 order_ids
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
A样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。
初始化DLI客户端 使用DLI SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下： 前提条件 已参考Java SDK概述配置Java SDK环境。
志分析、站内搜索等场景。 云搜索服务（Cloud Search Service，简称CSS）为DLI提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的更多信息，请参见《云搜索服务用户指南》。
志分析、站内搜索等场景。 云搜索服务（Cloud Search Service，简称CSS）为DLI提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的更多信息，请参见《云搜索服务用户指南》。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
