数据湖探索 DLI-对象存储OBS结果表:示例2

时间：2025-02-12 15:00:40

数据湖探索 DLI

示例2

使用datagen随机生成数据写入obs的bucketName桶下的fileName目录中。文件生成时间与checkpoint有关，达到checkpoint间隔或达到100MB时，生成新文件。

create table orders(  name string,  num INT) with (  'connector' = 'datagen',  'rows-per-second' = '100',   'fields.name.kind' = 'random',   'fields.name.length' = '5' );CREATE TABLE sink_table (   name string,   num INT) WITH (   'connector' = 'filesystem',   'path' = 'obs://bucketName/fileName',   'format' = 'parquet',   'sink.rolling-policy.file-size'='128m',   'sink.rolling-policy.rollover-interval'='30 min',   'auto-compaction'='true',   'compaction.file-size'='100m');INSERT into sink_table SELECT * from orders;

上一篇：数据湖探索 DLI-对象存储OBS结果表:示例1

下一篇：数据湖探索 DLI-对象存储OBS结果表:示例1