-
JSON Format - 数据湖探索 DLI
schema 是从 table schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式,这里应为'json'。
-
入门指引 - 数据湖探索 DLI
表相关 在Spark场景下的创建表、修改表,删除表等语法。 跨源连接相关 跨源连接访问HBase、OpenTSDB、DWS、RDS、CSS、DCS及DDS场景的下的语法。 自定义函数 Spark支持通过创建自定义函数来满足更多的计算需求。 内置函数 支持数学函数、日期函数、字
-
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY - 数据湖探索 DLI
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误 问题现象 在CDM迁移数据到DLI,迁移作业提交后,在CDM作业迁移日志中查看作业执行失败,具体日志有如下报错信息: org.apache
-
查询经典型跨源连接 - 数据湖探索 DLI
Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable.OpenTSDB/MRS.OpenTSDB/DWS/RDS/CSS)。 create_time 否 Long 创建连接的时间。为UTC的时间戳。
-
查询经典型跨源连接列表 - 数据湖探索 DLI
Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable.OpenTSDB/MRS.OpenTSDB/DWS/RDS/CSS)。 create_time 否 Long 创建连接的时间。为UTC的时间戳。
-
DLI的数据可存储在哪些地方 - 数据湖探索 DLI
DLI:DLI内部使用的是列存的Parquet格式,即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。 父主题: 使用咨询
-
概述 - 数据湖探索 DLI
pyspark和java三种语言进行开发。 表格存储服务CloudTable相关介绍请参考《表格存储服务产品介绍》。 云搜索服务CSS相关介绍请参考《云搜索服务产品介绍》。 分布式缓存服务DCS相关介绍请参考《分布式缓存服务产品介绍》。 文档数据库服务DDS相关介绍请参考《文档数据库服务产品介绍》。
-
Connector概述 - 数据湖探索 DLI
ClickHouse 不支持 不支持 支持 DataGen 支持 不支持 不支持 Doris 支持 支持 支持 DWS 支持 支持 支持 Elasticsearch 不支持 不支持 支持 FileSystem 支持 不支持 支持 Hbase 支持 支持 支持 Hive 支持 支持 支持 JDBC
-
Spark作业相关 - 数据湖探索 DLI
a8c3-28fbee399fa6"; // 调用BatchJob对象的delBatch接口取消批处理作业 MessageInfo messageInfo = client.delBatchJob(batchId); System.out.println(messageInfo
-
批作业SQL语法概览 - 数据湖探索 DLI
插入数据至DWS表 查询DWS表 跨源连接RDS表相关语法 创建表关联RDS 插入数据至RDS表 查询RDS表 跨源连接CSS表相关语法 创建表关联CSS 插入数据至CSS表 查询CSS表 跨源连接DCS表相关语法 创建表关联DCS 插入数据至DCS表 查询DCS表 跨源连接DDS表相关语法 创建表关联DDS
-
在default队列执行DLI SQL失败,上报超时异常 - 数据湖探索 DLI
Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please contact DLI service. [ERROR] Error message:Execution Timeout 问题原因 default队列是系统预置的默认公共队
-
数据迁移 - 数据湖探索 DLI
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
-
最佳实践内容概览 - 数据湖探索 DLI
迁移Hive数据至DLI,具体请参考迁移Hive数据至DLI。 迁移Kafka数据至DLI,具体请参考迁移Kafka数据至DLI。 迁移Elasticsearch数据至DLI,具体请参考迁移Elasticsearch数据至DLI。 迁移RDS数据至DLI,具体请参考迁移RDS数据至DLI。 迁移DWS数据至DLI,具体请参考迁移DWS数据至DLI。
-
Connector列表 - 数据湖探索 DLI
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch FileSystem Hbase Hive JDBC Kafka Print Redis Upsert Kafka 父主题: Flink
-
创建结果表 - 数据湖探索 DLI
Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 OpenTSDB结果表 userDefined结果表 Print结果表 FileSytem结果表 父主题: 数据定义语句DDL
-
创建结果表 - 数据湖探索 DLI
Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 OpenTSDB结果表 userDefined结果表 Print结果表 FileSytem结果表 父主题: 数据定义语句DDL
-
创建输出流 - 数据湖探索 DLI
创建输出流 CloudTable HBase输出流 CloudTable OpenTSDB输出流 MRS OpenTSDB输出流 CSS Elasticsearch输出流 DCS输出流 DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式)
-
工程配置 - 数据湖探索 DLI
System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 并行文件系统的详细介绍和使用说明,请参见《并行文件系统》。
-
Flink OpenSource SQL1.15语法概览 - 数据湖探索 DLI
Orc Parquet Raw Connectors BlackHole ClickHouse DataGen Doris DWS Elasticsearch FileSystem Hbase Hive JDBC Kafka Print Redis Upsert Kafka 父主题: Flink
-
Format概述 - 数据湖探索 DLI
Upsert Kafka, FileSystem JSON Kafka, Upsert Kafka, FileSystem, Elasticsearch Avro Kafka, Upsert Kafka, FileSystem Confluent Avro Kafka, Upsert