检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算
DefaultHoodieRecordPayload hoodie.datasource.write.recordkey.field 用于指定hudi的主键，hudi表要求有唯一主键。 指定为具体的表字段 hoodie.datasource.write.partitionpath.field 用于指定分区键，该值配合hoodie
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
创建增强型跨源连接 操作场景 使用DLI访问其他数据源的数据前，首先要通过建立增强型跨源连接打通DLI和数据源之间的网络，DLI才能够访问、导入、查询、分析其他数据源的数据。 例如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和对应数据源VPC之间的网络，才能实现数据互通。
查询弹性资源池下所有队列 功能介绍 查询队列与弹性资源池的关联关系。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues
分析窗口函数概览 DLI所支持的分析窗口函数如分析窗口函数介绍所示。 表1 分析窗口函数介绍 函数 命令格式 返回值 功能简介 cume_dist cume_dist() DOUBLE 用于求累计分布，相当于求分区中大于等于或小于等于当前行的数据在分区中的占比。 first_value
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型
使用DLI提交SQL作业查询OBS数据 场景描述 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 本例新建“sampledata.csv”文件上传OBS桶，并新建弹性资源池队列，使用DLI创建数据库和表，使用DLI提供的SQL编辑器查询表的1000条数据。
关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
函数概览 DLI提供了的decode1、javahash、max_pt等函数的说明如下。 表1 其他新增函数说明 函数 命令格式 返回值 功能简介 decode1 decode1(<expression>, <search>, <result>[, <search>, <result>]
作业相关 完整样例代码和依赖包说明请参考：Python SDK概述。 导入数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表中。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
使用DLI提交Spark Jar作业 操作场景 DLI允许用户提交编译为Jar包的Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前，将程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包，解压后目录结构如下：
在DLI控制台配置数据库权限 数据库权限操作场景 针对不同用户，可以通过权限设置分配不同的数据库权限。 管理员用户和数据库的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其数据库权限。 给新用户设置数据库权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant
创建Bucket索引表调优 创建Bucket索引表调优 Bucket索引常用设置参数： Spark： hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie
Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下： 布隆索引：Spark引擎独有索引，采用bloomfiter机制，将布隆索引内容写入到Parquet文件的footer中。
使用DLI提交SQL作业查询RDS MySQL数据 操作场景 DLI可以查询存储在RDS数据库中的数据，本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。 本例创建RDS实例并新建数据库和表，创建DLI弹性资源池队列，通过增强型跨源连接打通DLI弹性资源池
概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文
Python SDK概述 操作场景 DLI SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ，您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
