MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序(Java):数据规划

时间:2024-06-29 14:11:12

数据规划

使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。

  1. 确保JD BCS erver已启动。然后在Spark2x客户端,使用Spark-Beeline工具执行如下操作。
  2. 使用Spark-Beeline工具创建Spark表table1。

    create table table1

    (

    key string,

    cid string

    )

    using org.apache.spark.sql.hbase.HBaseSource

    options(

    hbaseTableName "table1",

    keyCols "key",

    colsMapping "cid=cf.cid");

  3. 通过HBase插入数据,命令如下:

    put 'table1', '1', 'cf:cid', '100'

  4. 使用Spark-Beeline工具创建Spark表table2。

    create table table2

    (

    key string,

    cid string

    )

    using org.apache.spark.sql.hbase.HBaseSource

    options(

    hbaseTableName "table2",

    keyCols "key",

    colsMapping "cid=cf.cid");

  5. 通过HBase插入数据,命令如下:

    put 'table2', '1', 'cf:cid', '1000'

support.huaweicloud.com/devg3-mrs/mrs_07_410083.html