MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序(Java):数据规划
数据规划
使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。
- 确保JD BCS erver已启动。然后在Spark2x客户端,使用Spark-Beeline工具执行如下操作。
- 使用Spark-Beeline工具创建Spark表table1。
create table table1
(
key string,
cid string
)
using org.apache.spark.sql.hbase.HBaseSource
options(
hbaseTableName "table1",
keyCols "key",
colsMapping "cid=cf.cid");
- 通过HBase插入数据,命令如下:
put 'table1', '1', 'cf:cid', '100'
- 使用Spark-Beeline工具创建Spark表table2。
create table table2
(
key string,
cid string
)
using org.apache.spark.sql.hbase.HBaseSource
options(
hbaseTableName "table2",
keyCols "key",
colsMapping "cid=cf.cid");
- 通过HBase插入数据,命令如下:
put 'table2', '1', 'cf:cid', '1000'
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是Flume_如何使用Flume
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Loader_如何使用Loader
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MRS备份恢复_MapReduce备份_数据备份
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- MapReduce服务_什么是Kafka_如何使用Kafka