MAPREDUCE服务 MRS-Phoenix BulkLoad Tool使用限制说明:回答

时间：2024-11-28 01:44:31

MAPREDUCE服务 MRS

回答

问题分析

创建表。

CREATE TABLE TEST_TABLE(
DATE varchar not null,
NUM integer not null,
SEQ_NUM integer not null,
ACCOUNT1 varchar not null,
ACCOUNTDES varchar,
FLAG varchar,
SALL double,
CONSTRAINT PK PRIMARY KEY (DATE,NUM,SEQ_NUM,ACCOUNT1)
);

创建全局索引
 CREATE INDEX TEST_TABLE_INDEX ON TEST_TABLE(ACCOUNT1,DATE,NUM,ACCOUNTDES,SEQ_NUM);
插入数据
 UPSERT INTO TEST_TABLE (DATE,NUM,SEQ_NUM,ACCOUNT1,ACCOUNTDES,FLAG,SALL) values ('20201001',30201001,13,'367392332','sffa1','','');
执行BulkLoad任务更新数据
 hbase org.apache.phoenix.mapreduce.CsvBulkLoadTool -t TEST_TABLE -i /tmp/test.csv，test.csv内容如下：

20201001

30201001

13

367392332

sffa888

1231243

23

问题现象：无法直接更新之前存在的索引数据，导致存在两条索引数据。

+------------+-----------+-----------+---------------+----------------+
| :ACCOUNT1  |   :DATE   |   :NUM    | 0:ACCOUNTDES  | :SEQ_NUM  |
+------------+-----------+-----------+---------------+----------------+
| 367392332  | 20201001  | 30201001  | sffa1          |  13                    |
| 367392332  | 20201001  | 30201001  | sffa888       | 13                    |
+------------+-----------+-----------+---------------+----------------+

解决方法

删除旧的索引表。

DROP INDEX TEST_TABLE_INDEX ON TEST_TABLE;
异步方式创建新的索引表。

CREATE INDEX TEST_TABLE_INDEX ON TEST_TABLE(ACCOUNT1,DATE,NUM,ACCOUNTDES,SEQ_NUM) ASYNC;
索引重建。

hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table TEST_TABLE --index-table TEST_TABLE_INDEX --output-path /user/test_table