-
队列管理概述 - 数据湖探索 DLI
可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。 DLI跨AZ队
-
审计与日志 - 数据湖探索 DLI
审计与日志 DLI对接云审计服务 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
-
与其他云服务的关系 - 数据湖探索 DLI
通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。 与云搜索服务(CSS)的关系 云搜索服务(Cloud Search Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。 数据来源:DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。 存储查询结
-
Spark SQL语法概览 - 数据湖探索 DLI
插入数据至DWS表 查询DWS表 跨源连接RDS表相关语法 创建表关联RDS 插入数据至RDS表 查询RDS表 跨源连接CSS表相关语法 创建表关联CSS 插入数据至CSS表 查询CSS表 跨源连接DCS表相关语法 创建表关联DCS 插入数据至DCS表 查询DCS表 跨源连接DDS表相关语法 创建表关联DDS
-
导入数据至DLI表的方式 - 数据湖探索 DLI
在“数据管理”>“库表管理”>“表管理”页面和“SQL编辑器”页面。具体操作请参考导入数据。 通过CDM导入数据 通过云数据迁移服务(Cloud Data Migration,简称CDM)将OBS上的数据导入到DLI,导入需要创建CDM队列。 具体操作请参见《云数据迁移服务用户指
-
怎样配置DLI队列与数据源的网络连通? - 数据湖探索 DLI
怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通与目的数据源的v
-
使用Spark作业跨源访问数据源 - 数据湖探索 DLI
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
-
跨源认证 - 数据湖探索 DLI
跨源认证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理
-
跨源连接相关 - 数据湖探索 DLI
跨源连接相关 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表
-
创建结果表 - 数据湖探索 DLI
创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表 JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
-
创建结果表 - 数据湖探索 DLI
创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表 JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
-
Flink OpenSource SQL作业开发指南 - 数据湖探索 DLI
OpenSource SQL作业开发指南 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导(异常自动重启)
-
创建输出流 - 数据湖探索 DLI
创建输出流 CloudTable HBase输出流 CloudTable OpenTSDB输出流 MRS OpenTSDB输出流 CSS Elasticsearch输出流 DCS输出流 DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式)
-
创建经典型跨源连接 - 数据湖探索 DLI
名称只能包含数字、英文字母、下划线和中划线。不能为空。 输入长度不能超过64个字符。 service 是 String 服务名称,目前为CloudTable.OpenTSDB/CloudTable,MRS.OPENTSDB,DWS,RDS,CSS。 说明: 不区分大小写。 security_group_id
-
DLI Flink作业支持哪些数据格式和数据源 - 数据湖探索 DLI
ML。 DLI Flink作业支持如下数据源: CloudTable HBase,CloudTable OpenTSDB,CSS Elasticsearch,DCS,DDS,DIS,DMS,DWS,EdgeHub,MRS HBase,MRS Kafka,开源Kafka,文件系统,OBS,RDS,SMN
-
修订记录 - 数据湖探索 DLI
SQL1.15语法参考。 2024-01-29 DWS结果表,新增参数key-by-before-sink。 2023-10-25 Elasticsearch结果表,补充关于跨源认证的使用说明。 2023-03-17 Redis结果表参数说明表内新增Redis sink TTL功能的参数说明。
-
Flink OpenSource SQL1.10语法概览 - 数据湖探索 DLI
Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 userDefined结果表 创建维表 创建JDBC维表 创建DWS维表 创建Hbase维表 父主题: Flink Opensource
-
JSON Format - 数据湖探索 DLI
中自动推导而得的。更多具体使用可参考开源社区文档:JSON Format。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式,这里应为'json'。
-
Flink OpenSource SQL1.12语法概览 - 数据湖探索 DLI
Redis源表 Upsert Kafka源表 创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表 JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 创建维表
-
数据迁移概览 - 数据湖探索 DLI
迁移Hive数据至DLI,具体请参考迁移Hive数据至DLI。 迁移Kafka数据至DLI,具体请参考迁移Kafka数据至DLI。 迁移Elasticsearch数据至DLI,具体请参考迁移Elasticsearch数据至DLI。 迁移RDS数据至DLI,具体请参考迁移RDS数据至DLI。 迁移DWS数据至DLI,具体请参考迁移DWS数据至DLI。