数据湖探索 DLI-CloudTable HBase输出流:关键字

时间:2024-07-01 21:07:18

关键字

表1 关键字说明

参数

是否必选

说明

type

输出通道类型,“cloudtable”表示输出到CloudTable(HBase)。

region

表格存储服务 所在区域。

cluster_id

待插入数据所属集群的id。

table_name

待插入数据的表名,支持参数化,例如当需要某一列或者几列作为表名的一部分时,可表示为”car_pass_inspect_with_age_${car_age}“,其中car_age为列名。

table_columns

待插入的列,具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",其中必须指定rowKey,当某列不需要加入数据库时,以第三列为例,可表示为"rowKey,f1:c1,,f2:c1"。

illegal_data_table

如果指定该参数,异常数据(比如:rowKey不存在)会写入该表(rowKey为时间戳加六位随机数字,schema为info:data, info:reason),否则会丢弃。

create_if_not_exist

当待写入的表或者列族不存在时,是否创建,值为true或者false,默认值为false。

batch_insert_data_num

表示一次性批量写入的数据条数,值必须为正整数,上限为100,默认值为10。

support.huaweicloud.com/sqlreference-dli/dli_08_0243.html