检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI Delta表概述 Delta表是一种基于Delta Lake技术实现的数据存储解决方案，它使用基于文件的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容，并且其设计能够与结
lang.AbstractMethodError。 解决措施有如下两种方案： 基于Spark 2.3重新编译应用 使用sl4j+log4j来实现日志功能，而不是直接继承Spark内部接口Logging。具体如下： <dependency> <groupId>org.slf4j</groupId>
不匹配。 DLI接口返回的结果编码格式为“UTF-8”，在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如，参考如下实现对返回的response.content内容做编码格式转换，确保返回的中文格式不会乱码。 print(response.content.decode("utf-8"))
业。 作业包含以下类型：DDL、DCL、IMPORT、QUERY和INSERT。其中，IMPORT与导入数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果-方式二（废弃） 导出查询结果
管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。
在DataArts Studio开发DLI SQL作业 操作场景 华为云数据治理中心DataArts Studio提供了一站式数据治理平台，可以实现与DLI服务的对接，从而提供统一的数据集成、数据开发服务，方便企业对全部数据进行管控。 本节操作介绍在DataArts Studio开发DLI
SEMI JOIN：只显示左表中的记录。可通过在LEFT SEMI JOIN， WHERE...IN和WHERE EXISTS中嵌套子查询来实现。左半连接与左外连接的区别是，左半连接将返回左表中符合JOIN条件的记录，而左外连接将返回左表所有的记录，匹配不上JOIN条件的记录将返回NULL值。
\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，不支持上下文敏感匹配和局部敏感匹配。此外，不支持（？u）标志。 不支持Surrogate Pair编码方式。例如，\ uD800 \
怎样将一个区域中的DLI表数据同步到另一个区域中？ 可以使用OBS跨区域复制功能实现，步骤如下： 将区域一中的DLI表数据导出到自定义的OBS桶中。 具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。
link作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。 不能随意修改基础镜像中DLI相关组件及目录。
table_reference.col_name = table_reference.col_name; 关键字 WHERE：隐式连接利用WHERE条件实现类似JOIN...ON...的连接，返回匹配的记录。语法格式中仅给出等式条件下的WHERE条件过滤，同时也支持不等式WHERE条件过滤。 注意事项
Flink作业推荐配置指导 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2
DLI提供的增强型跨源连接功能，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 配置DLI队列与公网网络连通 通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 图2 配置DLI队列访问公网流程 父主题： 增强型跨源连接类
SQL作业如何指定表的部分字段进行表数据的插入 如果需要将数据插入到表中，但只想指定部分字段，可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段数量和类型与
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线（EOL）公告 公告说明 为了更好的实现资源共享，提高计算资源利用率，DLI将“包年/包月”和“按需计费”计费模式队列升级为“弹性资源池队列”。即使用DLI计算资源需先购买弹性资源池，并在弹性资源池中创建队列。
Flink Jar作业开发基础样例 概述 用户可以基于Flink的API进行二次开发，构建自己的应用Jar包，提交到DLI队列运行，实现与MRS Kafka、HBase、Hive、HDFS，DWS，DCS等数据源的交互。 本章节以通过自定义作业与MRS进行交互为例进行说明。 更多样例代码请通过DLI样例代码获取。
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用
a、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。 本节操作介绍适用增强型跨源连接配置DLI与内网数据源的网络联通的操作指导。 创建增强型跨源连接网络不通的问题，可以根据本指导的整体流程和步骤进行排查验证。
管理Flink作业模板 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板，方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能： Flink SQL样例模板
务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 在Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理，本节操作介绍配置DLI与LakeFormation的数据连接的操作步骤。 LakeFormation Spark语法请参考Spark语法参考。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
