检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI的数据可存储在哪些地方 DLI支持存储哪些格式的数据？ DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方？ OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。
JDBC结果表 功能描述 DLI通过JDBC结果表将Flink作业的输出数据输出到关系型数据库中。 前提条件 DLI要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到
插入数据 功能描述 将SELECT查询结果或某条数据插入到表中。 约束限制 insert overwrite语法不适用于“自读自写”场景，该场景因涉及数据的连续处理和更新，如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据
怎样排查DLI计费异常？ 如果您在使用DLI服务的过程中，感觉计费有异常，可按照以下步骤进行排查： 包周期资源与预付费资源，本节操作重点介绍怎样排查按需资源使用中的扣费异常。 SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情，确认在扣费时间段内是否有以下操作：
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：https://hudi.apache.org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。
DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases
在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF（User Defined Function，用户定义函数）进行数据查询等操作，UDF只对单行数据产生作用，适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时，需要使用自建的SQL队列。
Spark 3.3.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
Maxwell Format 功能描述 Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式，而且支持使用JSON对消息进行序列化。
套餐包计费 套餐包 DLI提供优惠的资源套餐包，购买套餐包后，资源按照套餐包类型计费。 套餐包是用户预先购买的资源使用量配额，超出当前套餐包的额度，将自动转为按需收费。 套餐包类型及适用场景 表1 套餐包类型及适用场景 类型 说明 适用场景 重置规则 扫描数据量套餐包 按照用户每
DLI经典型跨源连接下线（EOL）公告 公告说明 华为云计划于2024年06月30 00:00（北京时间）将DLI经典型跨源连接的相关功能下线（EOL）。 影响 DLI经典型跨源连接的相关功能下线（EOL）后，不再提供该功能任何技术服务与支持。 如果您正在使用DLI经典型跨源连接
增强型跨源连接概述 为什么要创建增强型跨源连接？ DLI跨源分析场景连接外部数据源时，由于数据源的VPC与DLI VPC不同，网络无法连通，导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案：
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
Hudi Clustering操作说明 什么是Clustering 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hu
java样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代
已购买套餐包，为什么仍然产生按需计费？ 问题描述 已经购买了DLI的套餐包，使用过程中仍然产生了按需费用。 排查思路 DLI提供优惠的资源套餐包，购买套餐包后，资源按照套餐包类型计费。 套餐包是用户预先购买的资源使用量配额，超出当前套餐包的额度，将自动转为按需收费。 建议您按以下顺序排查原因。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
