检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容，并且其设计能够与结构化流式处理紧密集成，可以轻松地将单个数据副本用于批处理和流式处理操作，并提供大规模增量处理。 DLI中Delta的使用限制
如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3 查看队列负载 父主题： DLI弹性资源池和队列类
将写好的代码生成jar包，上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys
台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。
台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。
myhuaweicloud.com/jarname.jar" group_name：资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口，您可以使用该接口并选择相应的资源来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 def lis
怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 父主题：
Spark-submit是一个用于提交Spark作业到DLI服务端的命令行工具，该工具提供与开源Spark兼容的命令行。 准备工作 授权。 DLI使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问
表。 推荐使用DWS服务自研的DWS Connector。 DWS-Connector的使用方法请参考dws-connector-flink。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。
{obs域名}/{jarPath}/{jarName}。 description：资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口，您可以使用该接口并选择相应的资源来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 private static
DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse
台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 提交作业
注解相关参数、类或方法来支持提取过程。 代码示例 Table（类似于 SQL 标准）是一种强类型的 API，函数的参数和返回类型都必须映射到 Table API 的数据类型，参见Table API数据类型。 如果需要更高级的类型推导逻辑，您可以在每个自定义函数中显式重写 getTypeInference(
asource/opentsdb/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 Maven依赖 <dependency>
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API访问MRS的OpenTSDB # _*_ coding: utf-8
指定筛选条件删除分区（只支持OBS表） 功能描述 指定筛选条件删除分区表的一个或多个分区。 注意事项 该命令仅支持操作OBS表，不支持对DLI表进行操作。 所要删除分区的表必须是已经存在的表，否则会出错。 所要删除的分区必须是已经存在的，否则会出错，可通过语句中添加“IF EXISTS”避免该错误。
2024年5月起，新用户可以直接使用DLI服务的“查询结果写入桶”功能，无需开通白名单。 对于2024年5月之前首次使用DLI服务的用户，如需使用“查询结果写入桶”功能，必须提交工单申请加入白名单。 DLI支持13种数据类型，每一种类型都可以映射成一种JDBC类型，在使用JDBC连接服务器时，请使用映射后的JAVA类型，映射关系如表1所示。
注解相关参数、类或方法来支持提取过程。 代码示例 Table（类似于 SQL 标准）是一种强类型的 API，函数的参数和返回类型都必须映射到 Table API 的数据类型，参见Table API数据类型。 如果需要更高级的类型推导逻辑，您可以在每个自定义函数中显式重写 getTypeInference(
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API 访问DWS表 import org.apache.spark
apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
