检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sql作业,输入以下作业脚本,并提交运行。该作业模拟从kafka读取数据,并关联hive维表对数据进行打宽,并输出到print。 如下脚本中的加粗参数请根据实际环境修改。 CREATE CATALOG myhive WITH ( 'type' = 'hive' , 'default-database'
a中已创建的数据源名称。 Topics 选择MRS Kafka待迁移的Topic名称,支持单个或多个Topic。当前示例为:kafkatopic。 数据格式 根据实际情况选择当前消息格式。本示例选择为:CDC(DRS_JSON),以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。
如果当前MRS集群为普通集群则选择为SIMPLE,如果是MRS集群启用了Kerberos安全认证则选择为KERBEROS。 本示例选择为:KERBEROS。 Hive版本 根据当前创建MRS集群时候的Hive版本确定。当前Hive版本为3.1.0,则选择为:HIVE_3_X。 用户名 在3中创建的MRS Hive用户名。
将该IP配置在/etc/host文件中。 图3 在/etc/host文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。
a中已创建的数据源名称。 Topics 选择MRS Kafka待迁移的Topic名称,支持单个或多个Topic。当前示例为:kafkatopic。 数据格式 根据实际情况选择当前消息格式。本示例选择为:CDC(DRS_JSON),以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。
TUMBLE函数指定每个元素到一个指定大小的窗口中。滚动窗口的大小固定且不重复。 例如:假设指定了一个 5 分钟的滚动窗口。Flink 将每 5 分钟生成一个新的窗口。 图1 滚动窗口示例图 语法描述 TUMBLE 函数通过时间属性字段为每行数据分配一个窗口。 在流计算模式,时间属性字段必须被指定为事件或处理时间属性。