检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
创建一个org.apache.hadoop.hbase.rest.client.Cluster类的集群对象,通过调用集群类的add方法和REST server的集群IP和端口来添加集群。 Cluster cluster = new Cluster(); cluster.add("10.10.10
以下版本默认开启了集群自动注册DNS,也可以请通过查询对应版本元数据查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3
release 2.0 (SP2) SuSE,执行5。 # cat /etc/*-release SUSE Linux Enterprise Server 11 (x86_64) VERSION = 11 PATCHLEVEL = 3 其他,执行11。 执行cat /etc/eulero
ALM-19000 HBase服务不可用 告警解释 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 19000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
Storm性能调优 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患,所以默认是无法提交SSH作业的,如果想使用SSH功能,需要手动开启。 操作步骤 开启SSH功能(若当前集群无“oozie.job.ssh.enable”参数,则跳过该操作):
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患,所以默认是无法提交SSH作业的,如果想使用SSH功能,需要手动开启。 操作步骤 开启SSH功能(如果当前集群无“oozie.job.ssh.enable”参数,则跳过该操作):
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
HDFS on Hue Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式使用HDFS。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDF
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL)
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
Submit任务不受影响。 直接重启耗时约5分钟。 滚动重启 滚动重启不影响任务。 滚动重启2个实例约10分钟。 Flink 直接重启 仅影响Flink Server任务,Flink Jar、Flink SQL任务不受影响。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。 - ClickHouse
history/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log HetuEngine计算实例的运行日志。 状态检查日志 service_check.log 健康检查日志。 service_getstate
不允执行reflect、reflect2、java_method和in_file函数。如果业务需要,可在HiveServer自定义参数中新增“hive.server2.builtin.udf.blacklist”参数项,值为“mpty_blacklist”来允许Hive执行这些函数,存在安全风险,请谨慎操作。
00R001C00x8664/workspace/data”。 3.x及后续版本,主管理节点的“${BIGDATA_HOME}/om-server/OMS/workspace/data”。 第一次转存告警时自动生成目录。 操作视频 本视频将分别为您介绍查看告警和事件信息及配置告警阈值的操作。
标志的主机信息。 执行如下命令,查看Manager的版本号及平台信息。 su - omm cd ${BIGDATA_HOME}/om-server/om/sbin/pack ./queryManager.sh 显示如下: Version Package