MAPREDUCE服务 MRS-使用MRS Spark SQL访问DWS表:操作步骤
下载MAPREDUCE服务 MRS用户手册完整版
操作步骤
- 准备数据，在 GaussDB (DWS)集群中创建数据库和表：
- 登录GaussDB(DWS)管理控制台，单击DWS集群“操作”列的“登录”。
- 登录现有GaussDB(DWS)集群的默认数据库gaussdb，执行以下命令，创建数据库“dws_test”。
- 连接到创建的新数据库，执行以下命令，创建表“dws_order”。
CREATE TABLE dws_data.dws_order
( order_id VARCHAR,
order_channel VARCHAR,
order_time VARCHAR,
cust_code VARCHAR,
pay_amount DOUBLE PRECISION,
real_pay DOUBLE PRECISION );
- 执行以下命令插入数据到表“dws_order”中。
INSERT INTO dws_data.dws_order VALUES ('202306270001', 'webShop', '2023-06-27 10:00:00', 'CUST1', 1000, 1000);
INSERT INTO dws_data.dws_order VALUES ('202306270002', 'webShop', '2023-06-27 11:00:00', 'CUST2', 5000, 5000);
- 查询表数据，验证数据是否插入。
SELECT * FROM dws_data.dws_order;
- 下载GaussDB(DWS)数据库JDBC驱动并上传到 MRS 集群。
- 在MRS Spark中创建数据源表，并访问DWS表：
- 登录Spark客户端节点，执行如下命令：
source ./bigdata_env
kinit sparkuser
spark-sql --master yarn
- 执行如下命令，添加驱动程序jar：
add jar hdfs://hacluster/tmp/gsjdbc200.jar;
- 执行如下命令，在Spark中创建数据源表，访问DWS数据：
CREATE TABLE IF NOT EXISTS spk_dws_order
USING JDBC OPTIONS (
'url'='jdbc:gaussdb://192.168.0.228:8000/dws_test',
'driver'='com.huawei.gauss200.jdbc.Driver',
'dbtable'='dws_data.dws_order',
'user'='dbadmin',
'password'='xxx');
- 查询Spark表，验证显示的数据是否与DWS数据相同：
可以验证返回的数据与1中所示的数据相同。
- 登录Spark客户端节点，执行如下命令：
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
