数据湖探索 (Data Lake Insight,简称DLI)是基于Apache Spark生态,完全托管的 大数据 处理分析服务。企业使用标准SQL或Spark程序就能轻松完成异构数据源的联邦分析,挖掘和探索数据价值。
Step1登录管理控制台
步骤
①登录华为云。根据页面提示,登录系统。
②选择“EI企业智能> 数据湖 探索”。
③单击“进入控制台”,进入数据湖探索控制台。
说明
注册华为云账号操作请参考:准备工作。
Step2选择队列
步骤
①在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。
②在SQL编辑器页面,选择默认的队列“default”。
说明
该队列为服务默认的共享队列,队列大小按需分配,自动扩展。用户在不确定所需队列大小或没有可创建队列空间的情况下,可以使用该队列执行作业。如果需要创建队列,可单击“了解详细步骤”了解创建队列相关操作。
Step3创建 数据库
步骤
①在SQL语句编辑区域中,输入SQL语句创建数据库。
例如,创建名称为DB1的数据库:
CREATE DATABASE DB1
②单击“更多”中的“语义校验”,校验成功后,再单击“执行”。在SQL语句编辑区域的下方,显示执行结果。
Step4创建表
步骤
①在“数据库”下拉框中,选择新创建的数据库db1。
②在SQL语句编辑区域中,输入SQL语句创建数据表。例如,创建名称为Table1的数据表,数据文件在OBS上的路径为“obs://dli/dli/data.csv”。
create table table1(id int,name string)using csv options(path'obs://dli/dli/data.csv')
说明:所使用的数据需先上传至OBS中。假设所使用的数据为如下所示:
id name
1 Michael
2 Andy
3 Justin
③语义校验成功后,单击“执行”。在SQL语句编辑区域的下方,显示执行结果。
Step5执行SQL查询语句
步骤
①在SQL语句编辑区域中,输入查询语句对数据进行分析。
例如:查询DB1数据库的Table1数据表中的1000条数据。
SELECT*FROM db1.table1 LIMIT 1000
②语义校验成功后,单击“执行”。在SQL语句编辑区域的下方,显示执行结果。