检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
停止计费 包年/包月资源 对于包年/包月计费模式的资源，例如包年/包月的弹性资源池、包年/包月的队列等，用户在购买时会一次性付费，服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时，当您所需的委托没有包含在DLI系统委托dli_management_agency时，您需要在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。dli_management_a
DLI的计费模式有哪些？ DLI在不同的计费项下有不同的计费模式，具体详见表1说明。 表1 DLI计费模式 计费项 计费模式 计费模式说明 计算计费 包年/包月 按照弹性资源池包年/包月的固定费用计费。 按需计费 按需弹性资源池资源使用CU时进行计费。 计算费用=单价*CU数*小时数
计费相关问题 DLI的计费模式有哪些？ 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ 数据湖队列什么情况下是空闲状态？ 怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:
DLI datasourceV1表和datasourceV2表 什么是DLI datasourcev1表和DLI datasourcev2表？ DLI datasource v1表（以下简称V1表）：DLI的Datasource表格式，建表/插入/truncate命令使用DLI自
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标，选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页，选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长，判断是否勾选“统一到期日”，将到期时间统一到各个月的某一
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题： 配置DLI读写外部数据源数据
DLI Spark 3.1.1版本停止服务（EOS）公告 公告说明 华为云计划于2024年12月31 00:00（北京时间）将Spark 3.1.1版本停止服务（EOS）。 影响 DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
DLI Spark 2.3.2版本停止服务（EOS）公告 公告说明 华为云计划于2023年12月31 00:00（北京时间）将Spark 2.3.2版本停止服务（EOS）。 影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。
配置DLI对接AOM Prometheus监控 AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。它支持多种类型的组件监控，提供预置监控大盘和全面托管的Prometheus服务，通过Prometheus监控来统一采集、存储和显示监控
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则
典型场景示例：配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景，例如DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。
API概览 本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全
Python SDK概述 操作场景 DLI SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ，您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
