MAPREDUCE服务 MRS-创建FlinkServer流表源:新建流表
下载MAPREDUCE服务 MRS用户手册完整版
新建流表
- 访问Flink WebUI，请参考访问FlinkServer WebUI界面。
- 单击“流表管理”进入流表管理页面。
- 单击“新建流表”，在新建流表页面参考表1填写信息，单击“确定”，完成流表创建。创建完成后，可在对应流表的“操作”列对流表进行编辑、删除等操作。
图1 新建流表
表1 新建流表信息 参数名称
参数描述
备注
流/表名称
流/表的名称。
例如：flink_sink
描述
流/表的描述信息。
-
映射表类型
Flink SQL本身不带有数据存储功能，所有涉及表创建的操作，实际上均是对于外部数据表、存储的引用映射。
类型包含Kafka、HDFS。
-
类型
包含数据源表Source，数据结果表Sink。不同映射表类型包含的表如下所示。
- Kafka：Source、Sink
- HDFS：Source、Sink
-
数据连接
选择数据连接。
-
Topic
读取的Kafka的topic，支持从多个Kakfa topic中读取，topic之间使用英文分隔符进行分隔。
“映射表类型”选择“Kafka”时存在此参数。
-
文件路径
要传输的HDFS目录或单个文件路径。
“映射表类型”选择“HDFS”时存在此参数。
例如：
“/user/sqoop/ ”或“/user/sqoop/example.csv”
编码
选择不同“映射表类型”对应的编码如下：
- Kafka： CS V、JSON
- HDFS：CSV
-
前缀
“映射表类型”选择“Kafka”，且“类型”选择“Source”，“编码”选择“JSON”时含义为：多层嵌套json的层级前缀，使用英文逗号(,)进行分隔。
例如：data,info表示取嵌套json中data，info下的内容，作为json格式数据输入
分隔符
选择不同“映射表类型”对应的含义为：用于指定CSV字段分隔符。当数据“编码”为“CSV”时存在此参数。
例如：“,”
行分隔符
文件中的换行符，包含“\r”、“\n”、“\r\n”。
“映射表类型”选择“HDFS”时存在此参数。
-
列分隔符
文件中的字段分隔符。
“映射表类型”选择“HDFS”时存在此参数。
例如：“,”
流/表结构
填写流/表结构，包含名称，类型。
-
Proctime
指系统时间，与数据本身的时间戳无关，即在Flink算子内计算完成的时间。
“类型”选择“Source”时存在此参数。
-
Event Time
指事件产生的时间，即数据产生时自带时间戳。
“类型”选择“Source”时存在此参数。
-
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 如何使用模板创建函数_模板创建函数_函数工作流 FunctionGraph-华为云
- 什么是函数工作流_functiongraph是什么_函数工作流服务
- 数据转发至函数工作流_数据处理_FunctionGraph处理流数据
- Hudi服务_什么是Hudi_如何使用Hudi
- 函数工作流可以做什么_函数工作流有什么优势_函数工作流 FunctionGraph-华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Loader_如何使用Loader
