数据湖探索 DLI-创建Hive Catalog:示例

时间：2024-04-18 20:33:03

数据湖探索 DLI

示例

在Flink OpenSource SQL作业中，创建名为myhive的catalog，并使用它用于管理元数据。

CREATE CATA LOG  myhive WITH (
    'type' = 'hive'
    ,'hive-conf-dir' = '/opt/flink/conf'
);

USE CATALOG myhive;

create table dataGenSource(
  user_id string,
  amount int
) with (
  'connector' = 'datagen',
  'rows-per-second' = '1', --每秒生成一条数据
  'fields.user_id.kind' = 'random', --为字段user_id指定random生成器
  'fields.user_id.length' = '3' --限制user_id长度为3
);

create table printSink(
  user_id string,
  amount int
) with (
  'connector' = 'print'
);

insert into printSink select * from dataGenSource;

查看default数据库中，是否含有dataGenSource、printSink 表。

Hive Metastore 以小写形式存储所有元数据对象名称。

图1 查看default数据库

使用名为myhive的catalog中的元数据，新建Flink OpenSource SQL作业。

CREATE CATALOG myhive WITH (
    'type' = 'hive'
    ,'hive-conf-dir' = '/opt/flink/conf'
);

USE CATALOG myhive;

insert into printSink select * from dataGenSource;

上一篇：数据湖探索 DLI-创建Hive Catalog:功能描述

下一篇：数据湖探索 DLI-创建Hive Catalog:功能描述