云服务器内容精选

华为云首页用户手册

创建FlinkServer作业前准备

MAPREDUCE服务 MRS-创建FlinkServer流表源:新建FlinkServer流表步骤

新建FlinkServer流表步骤访问Flink WebUI，请参考访问FlinkServer WebUI界面。单击“流表管理”进入流表管理页面。单击“新建流表”，在新建流表页面参考表1填写信息，单击“确定”，完成流表创建。创建完成后，可在对应流表的“操作”列对流表进行编辑、删除等操作。图1 新建流表表1 新建流表信息参数名称参数描述备注流/表名称流/表的名称。例如：flink_sink 描述流/表的描述信息。 - 映射表类型 Flink SQL本身不带有数据存储功能，所有涉及表创建的操作，实际上均是对于外部数据表、存储的引用映射。类型包含Kafka、HDFS。 - 类型包含数据源表Source，数据结果表Sink。不同映射表类型包含的表如下所示。 Kafka：Source、Sink HDFS：Source、Sink - 数据连接选择数据连接。 - Topic 读取的Kafka的topic，支持从多个Kakfa topic中读取，topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径要传输的HDFS目录或单个文件路径。 “映射表类型”选择“HDFS”时存在此参数。例如： “/user/sqoop/ ”或“/user/sqoop/example.csv” 编码选择不同“映射表类型”对应的编码如下： Kafka： CS V、JSON HDFS：CSV - 前缀 “映射表类型”选择“Kafka”，且“类型”选择“Source”，“编码”选择“JSON”时含义为：多层嵌套json的层级前缀，使用英文逗号(,)进行分隔。例如：data,info表示取嵌套json中data，info下的内容，作为json格式数据输入分隔符选择不同“映射表类型”对应的含义为：用于指定CSV字段分隔符。当数据“编码”为“CSV”时存在此参数。例如：“,” 行分隔符文件中的换行符，包含“\r”、“\n”、“\r\n”。 “映射表类型”选择“HDFS”时存在此参数。 - 列分隔符文件中的字段分隔符。 “映射表类型”选择“HDFS”时存在此参数。例如：“,” 流/表结构填写流/表结构，包含名称，类型。 - Proctime 指系统时间，与数据本身的时间戳无关，即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间，即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。 -

MAPREDUCE服务 MRS 创建FlinkServer作业前准备
MAPREDUCE服务 MRS-创建FlinkServer流表源:新建流表

新建流表访问Flink WebUI，请参考访问FlinkServer WebUI界面。单击“流表管理”进入流表管理页面。单击“新建流表”，在新建流表页面参考表1填写信息，单击“确定”，完成流表创建。创建完成后，可在对应流表的“操作”列对流表进行编辑、删除等操作。图1 新建流表表1 新建流表信息参数名称参数描述备注流/表名称流/表的名称。例如：flink_sink 描述流/表的描述信息。 - 映射表类型 Flink SQL本身不带有数据存储功能，所有涉及表创建的操作，实际上均是对于外部数据表、存储的引用映射。类型包含Kafka、HDFS。 - 类型包含数据源表Source，数据结果表Sink。不同映射表类型包含的表如下所示。 Kafka：Source、Sink HDFS：Source、Sink - 数据连接选择数据连接。 - Topic 读取的Kafka的topic，支持从多个Kakfa topic中读取，topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径要传输的HDFS目录或单个文件路径。 “映射表类型”选择“HDFS”时存在此参数。例如： “/user/sqoop/ ”或“/user/sqoop/example.csv” 编码选择不同“映射表类型”对应的编码如下： Kafka：CSV、JSON HDFS：CSV - 前缀 “映射表类型”选择“Kafka”，且“类型”选择“Source”，“编码”选择“JSON”时含义为：多层嵌套json的层级前缀，使用英文逗号(,)进行分隔。例如：data,info表示取嵌套json中data，info下的内容，作为json格式数据输入分隔符选择不同“映射表类型”对应的含义为：用于指定CSV字段分隔符。当数据“编码”为“CSV”时存在此参数。例如：“,” 行分隔符文件中的换行符，包含“\r”、“\n”、“\r\n”。 “映射表类型”选择“HDFS”时存在此参数。 - 列分隔符文件中的字段分隔符。 “映射表类型”选择“HDFS”时存在此参数。例如：“,” 流/表结构填写流/表结构，包含名称，类型。 - Proctime 指系统时间，与数据本身的时间戳无关，即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间，即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。 -

MAPREDUCE服务 MRS 创建FlinkServer作业前准备