周边云服务对接-华为云

MAPREDUCE服务 MRS-使用MRS Hive表对接OBS文件系统:为MRS集群配置委托

为 MRS 集群配置委托配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以为已有集群配置委托为例介绍。登录MRS控制台，在导航栏选择“现有集群”。单击集群名称，进入集群详情页面。在集群详情页的“概览”页签，单击“ IAM 用户同步”右侧的“单击同步”进行IAM用户同步。在集群详情页的“概览”页签，单击“委托”右侧的“管理委托”选择创建E CS 委托的委托并单击“确定”进行绑定，或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。图3 绑定委托

MAPREDUCE服务 MRS 周边云服务对接

MAPREDUCE服务 MRS-使用MRS Hive表对接OBS文件系统:Hive访问OBS文件系统

Hive访问OBS文件系统用root用户登录集群Master节点，具体请参见登录集群节点。验证Hive访问OBS。用root用户登录集群Master节点，执行如下命令： cd /opt/Bigdata/client source bigdata_env source Hive/component_env 查看文件系统mrs-demo01下面的文件列表。 hadoop fs -ls obs://mrs-demo01/ 返回文件列表即表示访问OBS成功。图5 查看mrs-demo01下的文件列表执行以下命令进行用户认证（普通模式即未开启Kerberos认证无需执行此步骤）。 kinit hive 输入用户hive密码，默认密码为Hive@123，第一次使用需要修改密码。执行Hive组件的客户端命令。 beeline 在beeline中直接使用OBS的目录进行访问。例如，执行如下命令创建Hive表并指定数据存储在mrs-demo01文件系统的test_demo01目录中。 create table test_demo01(name string) location "obs://mrs-demo01/test_demo01"; 执行如下命令查询所有表，返回结果中存在表test_demo01，即表示访问OBS成功。 show tables; 图6 查看是否存在表test_demo01 查看表的Location。 show create table test_demo01; 查看表的Location是否为“obs://OBS桶名/”开头。图7 查看表test_demo01的Location 写入数据。 insert into test_demo01 values('mm'),('ww'),('ww'); 执行select * from test_demo01;查询是否写入成功。图8 查看表test_demo01中的数据执行命令!q退出beeline客户端。重新登录OBS控制台。单击“并行文件系统”，选择创建的文件系统名称。单击“文件”，查看是否存在创建的数据。图9 查看数据

MAPREDUCE服务 MRS 周边云服务对接

MAPREDUCE服务 MRS-使用MRS Spark SQL访问DWS表:操作步骤

操作步骤准备数据，在 GaussDB (DWS)集群中创建数据库和表：登录GaussDB(DWS)管理控制台，单击DWS集群“操作”列的“登录”。登录现有GaussDB(DWS)集群的默认数据库gaussdb，执行以下命令，创建数据库“dws_test”。 CREATE DATABASE dws_test; 连接到创建的新数据库，执行以下命令，创建表“dws_order”。 CREATE SCHEMA dws_data; CREATE TABLE dws_data.dws_order ( order_id VARCHAR, order_channel VARCHAR, order_time VARCHAR, cust_code VARCHAR, pay_amount DOUBLE PRECISION, real_pay DOUBLE PRECISION ); 执行以下命令插入数据到表“dws_order”中。 INSERT INTO dws_data.dws_order VALUES ('202306270001', 'webShop', '2023-06-27 10:00:00', 'CUST1', 1000, 1000); INSERT INTO dws_data.dws_order VALUES ('202306270002', 'webShop', '2023-06-27 11:00:00', 'CUST2', 5000, 5000); 查询表数据，验证数据是否插入。 SELECT * FROM dws_data.dws_order; 下载GaussDB(DWS)数据库JDBC驱动并上传到MRS集群。登录GaussDB(DWS)管理控制台，单击左侧的“连接管理”，下载JDBC驱动，如下图所示：解压，获取“gsjdbc200.jar”文件，并上传到MRS集群主Master节点，例如上传到“/tmp”目录下。使用root用户登录MRS集群主Master节点，执行如下命令： cd {客户端安装目录} source bigdata_env kinit sparkuser （首次认证需要修改密码，未开启Kerberos认证，则无需执行kinit命令。） hdfs dfs -put /tmp/gsjdbc200.jar /tmp 在MRS Spark中创建数据源表，并访问DWS表：登录Spark客户端节点，执行如下命令： cd 客户端安装目录 source ./bigdata_env kinit sparkuser spark-sql --master yarn 执行如下命令，添加驱动程序jar： add jar hdfs://hacluster/tmp/gsjdbc200.jar; 执行如下命令，在Spark中创建数据源表，访问DWS数据： CREATE TABLE IF NOT EXISTS spk_dws_order USING JDBC OPTIONS ( 'url'='jdbc:gaussdb://192.168.0.228:8000/dws_test', 'driver'='com.huawei.gauss200.jdbc.Driver', 'dbtable'='dws_data.dws_order', 'user'='dbadmin', 'password'='xxx'); 查询Spark表，验证显示的数据是否与DWS数据相同： SELECT * FROM spk_dws_order; 可以验证返回的数据与1中所示的数据相同。

MAPREDUCE服务 MRS 周边云服务对接

云服务器内容精选

周边云服务对接

7*24

备案

专业服务

退订

建议反馈

售前咨询热线