检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI的数据可存储在哪些地方 DLI支持存储哪些格式的数据？ DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方？ OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法。
Flink作业重启后，如何保证不丢失数据？ DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
为什么insert overwrite覆盖分区表数据的时候，覆盖了全量数据？ 当您使用insert overwrite语句覆盖分区表的数据时，如果发现它覆盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？ 问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
创建Kafka_SSL类型跨源认证 操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerbero
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证，将数据源的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问数据源。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时
OBS表压缩率较高怎么办？ 当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.ma
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证，将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源
DLI增强型跨源连接DWS失败怎么办？ 问题现象 客户创建增强型跨源连接DLI和DWS，安全组已配置出方向规则到关联队列，使用的是密码形式的跨源认证，报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下：
配置DBeaver连接DLI进行数据查询和分析 DBeaver 是一个免费且开源的数据库管理工具，支持多种数据库，通过DBeaver这款可视化数据库管理工具可以查看数据库结构、执行SQL查询和脚本、浏览和导出数据等。本节操作介绍DBeaver连接DLI服务的操作步骤。 操作前准备
xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator（全局服务）。 写入数据到OBS的桶必须为主账号下所创建的OBS桶。 使用Flink1.15版
管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。
配置DBT连接DLI进行数据调度和分析 DBT（Data Build Tool），是一款开源的数据建模和转换工具，运行在Python环境上。DBT连接DLI，用来定义和执行SQL转换，支持从数据集成、转换到分析的整个数据生命周期管理，适用于大规模数据分析项目和复杂的数据分析场景。
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
