-
DWS结果表 - 数据湖探索 DLI
ostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供
-
DWS源表 - 数据湖探索 DLI
ostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供
-
RDS输出流 - 数据湖探索 DLI
ostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。MySQL数据库适用于各种WEB应用、电子商务应用、企业应用、移动应用等场景,减少IT部署和维护成本。 关系型数据库(Relational
-
RDS输出流 - 数据湖探索 DLI
ostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。MySQL数据库适用于各种WEB应用、电子商务应用、企业应用、移动应用等场景,减少IT部署和维护成本。 关系型数据库(Relational
-
最佳实践内容概览 - 数据湖探索 DLI
DLI应用于海量的日志数据分析和大数据ETL处理,助力各行业使能数据价值。当前数据分析最佳实践内容如下: 使用DLI进行车联网场景驾驶行为数据分析,具体请参考使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将CSV数据转换为Parquet数据,具体请参考使用DLI将CSV数据转换为Parquet数据。
-
数据库权限管理 - 数据湖探索 DLI
数据库和表赋权对象具有层级关系,用户赋予上一层级的权限会自动继承到下一层级对象上,层级关系为:数据库>表>列。 数据库所有者、表所有者、被赋予“赋权权限”的用户都可以对数据库和表赋权。 列只能继承查询权限。“可继承权限”详细信息请参见数据库权限管理。 回收权限时,只能在初始赋权的层级上回收。在哪一层赋权的,在哪
-
数据分析 - 数据湖探索 DLI
数据分析 使用DLI进行车联网场景驾驶行为数据分析 使用DLI将CSV数据转换为Parquet数据 使用DLI进行电商BI报表分析 使用DLI进行账单分析与优化 使用DLI Flink SQL进行电商实时业务数据分析 永洪BI对接DLI提交Spark作业 FineBI工具对接DLI
-
修订记录 - 数据湖探索 DLI
加放通DLI队列网段的规则”操作步骤。 2022-10-31 优化以下章节补充方案优势、流程引导、资源和成本规划等信息。 使用DLI进行车联网场景驾驶行为数据分析 使用DLI将CSV数据转换为Parquet数据 使用DLI Flink SQL进行电商实时业务数据分析 2022-09-27
-
DWS Connector概述 - 数据湖探索 DLI
ostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 DWS的更多信息,请参见《数据仓库服务管理指南》。 DLI Flink 1.15版本支持两种DWS Connector方式用于接入GaussDB数据:
-
数据湖探索 DLI - 数据湖探索 DLI
SQL作业:兼容社区Flink 1.10版本SQL语法,仅支持运行在CCE类型队列上。 Flink Edge SQL作业:通过SQL对边缘设备数据进行分析,可部署到边缘节点上。 发布区域:以控制台实际上线区域为准。 提交Flink OpenSource SQL作业 创建Flink
-
流表JOIN - 数据湖探索 DLI
value_type:redis的键值对应值类型,支持STRING、HASH、SET、ZSET、LIST,其中HASH类型需要指定hash_key_column作为二层主键,集合类型将用逗号拼接所有查询出来的值 * key_column:维表主键对应的列名 * hash_key_column:当re
-
流表JOIN - 数据湖探索 DLI
value_type:redis的键值对应值类型,支持STRING、HASH、SET、ZSET、LIST,其中HASH类型需要指定hash_key_column作为二层主键,集合类型将用逗号拼接所有查询出来的值 * key_column:维表主键对应的列名 * hash_key_column:当re
-
创建DLI表关联DCS - 数据湖探索 DLI
访问DCS时,不支持复杂类型数据(Array、Struct、Map等)。 可以考虑以下几种方式进行复杂类型数据处理: 字段扁平化处理,将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取,并通过自定义函数进行编解码。 示例 指定table 1 2 3 4 5 6 7 create
-
创建DLI表关联DCS - 数据湖探索 DLI
访问DCS时,不支持复杂类型数据(Array、Struct、Map等)。 可以考虑以下几种方式进行复杂类型数据处理: 字段扁平化处理,将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取,并通过自定义函数进行编解码。 示例 指定table 1 2 3 4 5 6 7 create
-
SELECT - 数据湖探索 DLI
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
-
数据湖探索成长地图 - 数据湖探索 DLI
权限管理 入门操作指导 提交SQL作业 提交Spark作业 05 实践 您可以通过以下案例进一步了解DLI的使用场景及操作步骤。 使用DLI进行车联网场景驾驶行为数据分析 详细介绍 使用DLI进行电商BI报表分析 详细介绍 07 API&SDK 通过DLI开放的API和调用示例,您可以使
-
SELECT - 数据湖探索 DLI
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
-
SELECT - 数据湖探索 DLI
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
-
SELECT - 数据湖探索 DLI
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
-
SELECT - 数据湖探索 DLI
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem