-
SQL防御概述 - 数据湖探索 DLI
什么是SQL防御 当前大数据领域的SQL引擎层出不穷,在带给解决方案多样性的同时,也暴露出一定的问题,例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击,影响系统的性能或者平台稳定性。 仅Spark
-
Spark作业访问MySQL数据库的方案 - 数据湖探索 DLI
Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案: 方案1:在DLI中创建队列,队列计费模式为包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
-
使用DLI Flink SQL进行电商实时业务数据分析 - 数据湖探索 DLI
据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示。 方案架构 使用DLI Flink完成电商业务实时数据的分析处理,获取各个渠道的销售汇总数据。 图1 方案简介 流程指导 使用DLI Flink进行电商实时业务数据分析的操作过程主要包括以下步骤:
-
DLI适用哪些场景 - 数据湖探索 DLI
运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。 优势 大数据ETL:具备TB~EB级运营商数据治理能力,能快速将海量运营商数据做ET
-
应用场景 - 数据湖探索 DLI
大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。 优势 大数据ETL:具备TB~EB级运营商数据治理能力,能
-
数据迁移概览 - 数据湖探索 DLI
迁移RDS数据至DLI,具体请参考迁移RDS数据至DLI。 迁移DWS数据至DLI,具体请参考迁移DWS数据至DLI。 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表1可以获取到源和目的端的数据类型映射关系。
-
查看元数据 - 数据湖探索 DLI
查看元数据 元数据说明 元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。
-
数据类型 - 数据湖探索 DLI
数据类型 概述 数据类型是数据的一个基本属性,用于区分不同类别的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在数据表中。数据表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。 华为大数据平台的Flink
-
数据类型 - 数据湖探索 DLI
数据类型 概述 数据类型是数据的一个基本属性,用于区分不同类别的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在数据表中。数据表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。 华为大数据平台的Flink
-
导入数据 - 数据湖探索 DLI
前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 在管理控制台的左侧,选择“数据管理”>“库表管理”。 单击需导入数据的表对应的数据库名称,进入该数据库的“表管理”页面。 在
-
插入数据 - 数据湖探索 DLI
同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource(除Hudi外)表在执行数据修改类命令(例如insert into,load data)时由于数据源不支持事务性,在系统故障或队列资源重启后,可能会导致数据重复或数据不一致等问题。 为了避免这种情
-
数据权限管理 - 数据湖探索 DLI
数据权限管理 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系 父主题: Spark SQL语法参考(即将下线)
-
导入数据 - 数据湖探索 DLI
PERMISSIVE:选择PERMISSIVE模式时,如果某一列数据类型与目标表列数据类型不匹配,则该行数据将被设置为null。 DROPMALFORMED:选择DROPMALFORMED模式时,如果某一列数据类型与目标表列数据类型不匹配,则不导入该行数据。 FAILFAST:选择FAILFAST模
-
插入数据 - 数据湖探索 DLI
同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource(除Hudi外)表在执行数据修改类命令(例如insert into,load data)时由于数据源不支持事务性,在系统故障或队列资源重启后,可能会导致数据重复或数据不一致等问题。 为了避免这种情
-
清空数据 - 数据湖探索 DLI
清空数据 功能描述 清除DLI表或者OBS表的数据。 语法格式 1 TRUNCATE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]; 关键字 表1 关键字说明 参数 描述 tablename 需要执
-
数据湖探索 DLI - 数据湖探索 DLI
功能总览 功能总览 全部 数据湖探索 权限管理 队列弹性扩缩容 跨AZ双活 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 跨源分析 自定义镜像 OBS 2.0支持数据湖探索 数据湖探索(Data Lake Insight,以下简称DLI)是完全兼容Apache
-
导入数据 - 数据湖探索 DLI
PERMISSIVE:选择PERMISSIVE模式时,如果某一列数据类型与目标表列数据类型不匹配,则该行数据将被设置为null。 DROPMALFORMED:选择DROPMALFORMED模式时,如果某一列数据类型与目标表列数据类型不匹配,则不导入该行数据。 FAILFAST:选择FAILFAST模
-
预览数据 - 数据湖探索 DLI
预览数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目
-
清空数据 - 数据湖探索 DLI
清空数据 功能描述 清除DLI表或者OBS表的数据。 语法格式 1 TRUNCATE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]; 关键字 表1 关键字说明 参数 描述 tablename 需要执
-
数据迁移 - 数据湖探索 DLI
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI