检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算资源按租户隔离
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 != 不等于 范围比较：between between适用于值在一个特定的范围内，如：value BETWEEN min AND max Not between适用于值不在某个特定范围内
URL函数 提取函数 描述：提取函数用于从HTTP URL（或任何符合RFC 2396标准的URL）中提取内容。 [protocol:][//host[:port]][path][?query][#fragment] 提取的内容不会包含URI的语法分割符，比如“：”或“？”。 url_extract_fragment
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放
string_split string_split函数，根据指定的分隔符将目标字符串拆分为子字符串，并返回子字符串列表。 语法说明 string_split(target, separator) 表1 string_split参数说明 参数 数据类型 说明 target STRING
string_split string_split函数，根据指定的分隔符将目标字符串拆分为子字符串，并返回子字符串列表。 语法说明 string_split(target, separator) 表1 string_split参数说明 参数 数据类型 说明 target STRING
scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险
查询Flink作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶，并查看Flink作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题
JSON函数 JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性，但既不是其子集，也不是其超集。 路径表达式有两种，一种是宽松模式，另一种是严格模式。当省略时，它默认为严格模式
CREATE TABLE语句 功能描述 根据指定的表名创建一个表，如果同名表已经在 catalog 中存在了，则无法注册。 语法定义 CREATE TABLE [IF NOT EXISTS] [catalog_name.][db_name.]table_name ( {
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
提交SQL作业（推荐） 功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 作业包含以下类型：DDL、DCL、IMPORT、QUERY和INSERT。其中，IMPORT与导入数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，
开启Flink作业动态扩缩容 操作场景 在实际作业运行中，由于作业的数据流量变化，导致所需计算资源不同，造成流量较小时计算资源浪费，流量较大时计算资源不足以满足计算所需。 DLI提供的动态扩缩容功能可以根据当前作业的负载情况，例如：数据输入输出量、数据输入输出速率、反压等情况，动态的调整当前作业所用的计算资源
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types
Maxwell Format 功能描述 Flink 支持将 Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下，这对于利用此功能很有用。 例如： 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图
Hudi结果表 功能描述 Flink SQL作业写Hudi表。 更多具体使用可参考开源社区文档：Hudi。 注意事项 推荐使用SparkSQL统一建表 表名必须满足Hive格式要求 表名必须以字母或下划线开头，不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128
创建Bucket索引表调优 创建Bucket索引表调优 Bucket索引常用设置参数： Spark： hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num.buckets
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
