检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-19033 RegionServer的RPC读队列数超过阈值 告警解释 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC读队列待处理任务个数,当检测到某个RegionServer上的RPC读队列待处理任务个数连续10次超出阈值时产生该告警。 当
快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS
运行Flink作业 用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类的
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类的
导入导出Hive表/分区数据 操作场景 在大数据应用场景中,往往存在将Hive中的数据表迁移到另一个集群上,使用Hive的导入导出命令可以实现表级别数据迁移,即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中,再在目标集群使用Import命令将导出的数据导入到相应的
Flink安全认证机制说明 Flink认证和加密 Flink集群中,各部件支持认证。 Flink集群内部各部件和外部部件之间,支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间,如Flink client和JobManager
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop.apache.org
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop.apache.org
HBase本地二级索引介绍 场景介绍 HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实际情况下
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类的
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据,这样,CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。 命令格式 LOAD DATA INPATH 'folder_path'
Geospatial函数 以ST_前缀开头的HetuEngine Geospatial功能支持SQL、MM规范,并符合Open Geospatial Consortium(OGC)的OpenGIS规范。因此,许多HetuEngine Geospatial功能要求或更准确地说是假设要操作的几何图形既简单又有效
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类的
Flink安全认证机制说明 Flink认证和加密 Flink集群中,各部件支持认证。 Flink集群内部各部件和外部部件之间,支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间,如Flink client和JobManager
使用MRS客户端操作OpenTSDB指标数据 用户可以根据业务需要,在MRS集群的客户端中进行交互式操作。启用Kerberos认证的集群,需要操作的用户属于“opentsdb,hbase,opentsdbgroup和supergroup”组且拥有HBase权限。 前提条件 获取用户
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Java