检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注解相关参数、类或方法来支持提取过程。 代码示例 Table（类似于 SQL 标准）是一种强类型的 API，函数的参数和返回类型都必须映射到 Table API 的数据类型，参见Table API数据类型。 如果需要更高级的类型推导逻辑，您可以在每个自定义函数中显式重写 getTypeInference(
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API访问MRS的OpenTSDB # _*_ coding: utf-8
注解相关参数、类或方法来支持提取过程。 代码示例 Table（类似于 SQL 标准）是一种强类型的 API，函数的参数和返回类型都必须映射到 Table API 的数据类型，参见Table API数据类型。 如果需要更高级的类型推导逻辑，您可以在每个自定义函数中显式重写 getTypeInference(
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API 访问DWS表 import org.apache.spark
r/datasource/rds/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 直接复制如下样例代码到
pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题： Spark作业开发类
datetrunc('2023-08-14 17:00:00', 'DD'); 返回2023-01-01。 select datetrunc('2023-08-14', 'yyyy'); 返回2023-08-14 17:00:00。 select datetrunc('2023-08-14 17:11:11'
单击右上角的“创建作业”，在Spark作业编辑窗口，可以选择使用“表单模式”或者“API模式”进行参数设置。 以下以“表单模式”页面进行说明，“API模式”即采用API接口模式设置参数及参数值，具体请参考《数据湖探索API参考》。 选择运行队列。 在下拉列表中选择要使用的队列。 选择Spar
提供了一个统一的API，用于管理元数据，并使其可以从Table API和SQL查询语句中来访问。详情参考Apache Flink Catalogs 功能描述 HiveCatalog有两个用途：作为原生Flink元数据的持久化存储，以及作为读写现有Hive元数据的接口。 Flink 的Hive
什么是Clustering 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie
datepart(date '2023-08-14 17:00:00', 'yyyy'); 返回2023。 select datepart('2023-08-14 17:00:00', 'yyyy'); 返回59。 select datepart('2023-08-14 17:59:59', 'mi')
SQL相关的数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 Spark Jar 相关API 提供Spark Jar相关API的使用说明。 Spark 作业SDK参考 提供执行Spark批处理作业的接口样例说明。
使用sl4j+log4j来实现日志功能，而不是直接继承Spark内部接口Logging。具体如下： <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.16</version>
select date_sub('2023-08-14 17:00:00', 2); 返回2023-08-15。增1天。 select date_sub(date'2023-08-14', -1); 假设当前时间为2023-08-14 17:00:00，返回2023-08-13。 select
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量
登录管理控制台，从主页选择“EI企业智能”>“EI大数据”>“数据湖探索”。 API方式 如果用户需要将云平台上的DLI服务集成到第三方系统，用于二次开发，可以使用API方式访问DLI服务。 具体操作请参见《数据湖探索API参考》。 JDBC DLI支持使用JDBC连接服务端进行数据查询操作
法说明和样例指导。 使用Spark作业访问DLI元数据 提供SQL作业开发的操作指引和样例代码参考。 Spark SQL 相关API 提供SQL相关API的使用说明。 父主题： 创建并管理SQL作业模板
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API访问MRS HBase 未开启kerberos认证样例代码 #
10:00:00）。 select from_utc_timestamp('2023-08-14 17:00:00','PST'); 返回1691917200000（代表2023-08-13 17:00:00）。 select from_utc_timestamp(date '2023-08-14
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
