数据湖探索 DLI-MRS HBase输出流:关键字

时间：2024-07-01 21:07:20

数据湖探索 DLI

表1 关键字说明
参数	是否必选	说明
type	是	输出通道类型，"mrs_hbase"表示输出到 MRS 的HBase中。
region	是	MRS服务所在区域。
cluster_address	是	待插入数据表所属集群zookeeper地址，形如：ip1,ip2:port。
table_name	是	待插入数据的表名。支持参数化，例如当需要某一列或者几列作为表名的一部分时，可表示为”car_pass_inspect_with_age_${car_age}“，其中car_age为列名。
table_columns	是	待插入的列，具体形式如："rowKey,f1:c1,f1:c2,f2:c1"，其中必须指定rowKey，当某列不需要加入数据库时，以第三列为例，可表示为"rowKey,f1:c1,,f2:c1"。
illegal_data_table	否	如果指定该参数，异常数据（比如：rowKey不存在）会写入该表（rowKey为taskNo加下划线加时间戳加六位随机数字，schema为info:data, info:reason），否则会丢弃。
batch_insert_data_num	否	表示一次性批量写入的数据条数，值必须为正整数，上限为1000，默认值为10。
action	否	表示数据是插入还是删除，可选值为add和delete，默认值为add。
krb_auth	否	创建跨源认证的认证名。开启kerberos认证时，需配置该参数，填写对应的跨源认证名称。跨源认证创建详见创建跨源认证。说明：请确保在 DLI 队列host文件中添加MRS集群master节点的“/etc/hosts”信息。