检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本概念 弹性资源池 专属的计算资源，不同弹性资源上的计算资源完全隔离，弹性资源池内的不同队列资源可以共享，并可以根据队列资源负载配置策略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数
复杂类型 ARRAY 数组。 示例：ARRAY[1, 2, 3]。 --创建ARRAY类型表 create table array_tb(col1 ARRAY<STRING>); --插入一条ARRAY类型数据 insert into array_tb values(ARRAY['HetuEngine'
创建DWS维表 创建DWS表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了所需的DWS实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource ( attr_name attr_type
DWS维表（不推荐使用） 功能描述 创建DWS表用于与输入流连接，从而生成相应的宽表。 推荐使用DWS服务自研的DWS Connector。 DWS-Connector的使用方法请参考dws-connector-flink。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS
队列引擎版本升级后，在创建表时，提示权限不足怎么办？ 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时，或切换使用HetuEngine后，如果已经赋予IAM用户的建表权限，但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同，校验的权限范围不同：
pyspark样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包
典型场景示例：迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI
配置YongHong BI连接DLI进行数据查询和分析 YongHong BI是一款企业级数据分析工具。支持数据可视化、报表制作、数据分析和决策支持的功能，帮助企业洞察业务数据，提升决策效率。 本节操作介绍YongHong BI连接DLI的操作步骤。 操作前准备 环境要求： 已安装YongHong
DWS维表 功能描述 创建DWS表用于与输入流连接，从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的
数据赋权（用户或项目） 功能介绍 该API用于将数据库或数据表的数据权限赋给指定的其他用户或项目。 被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 赋权给项目时，只可以赋权给相同租户下的相同区域的项目。 关于Tenant Guest权限的介绍和开通方法，详细参见权限策略和《统一身份认证服务
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算
提交SQL作业（废弃） 功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 当前接口已废弃，不推荐使用。 作业包含以下类型：DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中，IMPORT和EXPORT分别与导入数据（废弃）和与导出数据（废弃）的功能一致，区别仅在于实现方式不同。
Flink SQL作业类 怎样将OBS表映射为DLI的分区表？ Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ Flink作业输出流写入数据到OBS
典型场景示例：迁移Kafka数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的
提交SQL作业（推荐） 功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 作业包含以下类型：DDL、DCL、IMPORT、QUERY和INSERT。其中，IMPORT与导入数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有：
类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Where）、运算操作（+、-、*、/）以及函数调用（连接操作 ||）时能提供数据类型隐式转换功能。 父主题： 数据类型隐式转换
过部分聚合。 spark.sql.aggregate.adaptivePartialAggregationRatio：该参数是判断是否跳过的阈值，用于判断“已处理的group分组/已处理的行数”的比例。如果这个比例大于配置的阈值，则认为预聚合效果不好，此时Spark可以选择跳过部分聚合，避免进一步的性能损失。
典型场景示例：迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列
与其他云服务的关系 与对象存储服务（OBS）的关系 对象存储服务（Object Storage Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下四种。 数据来源：使用DLI服务提供API，将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
