检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。
拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bo
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。
拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bo
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
Oozie调度HiveSQL作业报错处理 问题现象 MRS 3.x集群Oozie调度Hive作业任务失败,查看日志HiveSQL,实际上是运行成功的,但Yarn任务总体失败,报错如下: java.io.ioException:output.properties data exceeds
Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.d
Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.d
Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.d
MRS集群的Task节点如何收费? 问: Mapreduce服务(MRS)集群的Task节点如何收费? 答: 包年/包月集群和按需计费集群的Task节点的计费模式为按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费类
如何配置MRS集群knox内存? 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
MRS 1.9.3 Ranger证书如何更新? 本指导以MRS 1.9.3版本为例,其他版本请替换成具体集群版本号。参考本指导完成证书更新后,请手动清除证书文件失效或证书文件即将过期告警。 Ranger证书更新后,证书有效期为10年。 Ranger证书过期后,Ranger WEB
如何修改DBService的IP地址? 问: 如何修改DBService的浮动IP地址? 答: MRS集群内不支持修改DBService的IP地址。 父主题: 组件配置类
如何修改HDFS主备倒换类? 当MRS 3.x版本集群使用HDFS连接NameNode时,报“org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider”类无法找到时,是由于MRS 3.x版本集群
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装