-
Debezium Format - 数据湖探索 DLI
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink
-
运行Spark作业报java.lang.AbstractMethodError - 数据湖探索 DLI
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang.AbstractMethodError。
-
作业相关 - 数据湖探索 DLI
作业相关 导入数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表中。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化
-
Flink作业相关 - 数据湖探索 DLI
列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI,示例代码如下: 1 2 3 4 5 6 7 8 9 10 private static void createSQLJob(DLIClient
-
Debezium Format - 数据湖探索 DLI
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink
-
用户获取Flink作业委托临时凭证 - 数据湖探索 DLI
62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包 <dependency>
-
对接RDS - 数据湖探索 DLI
对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
-
对接Mongo - 数据湖探索 DLI
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
-
对接OpenTSDB - 数据湖探索 DLI
对接OpenTSDB scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
-
对接DWS - 数据湖探索 DLI
对接DWS scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
-
Spark作业相关 - 数据湖探索 DLI
lient的初始化,参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
-
数据库相关 - 数据湖探索 DLI
已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7 private static Database createDatabase(DLIClient client)
-
对接Redis - 数据湖探索 DLI
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
-
对接HBase - 数据湖探索 DLI
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
-
对接CSS - 数据湖探索 DLI
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
-
Canal Format - 数据湖探索 DLI
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
-
(推荐)DLI SDK V3 - 数据湖探索 DLI
在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 如图1所示。 图1 获取SDK代码示例
-
Canal Format - 数据湖探索 DLI
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
-
修订记录 - 数据湖探索 DLI
使用DataSource语法创建OBS表,补充示例代码。 使用Hive语法创建OBS表,补充示例代码。 使用DataSource语法创建DLI表,补充示例代码。 使用Hive语法创建DLI表,补充示例代码。 2023-09-22 优化 优化DLI 内置函数,补充函数功能介绍、参数说明、返回值说明和示例代码。 2023-08-14
-
返回结果 - 数据湖探索 DLI
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求