检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
true 监测所有版本的SST文件的总大小,单位:字节。文件太多,可能会降低查询的速度 state.backend.rocksdb.metrics.live-sst-files-size true 监测属于最新版本的所有SST文件的总大小,单位:字节。文件太多,可能会降低查询的速度 state
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装
convert.join Hive基于输入文件大小将普通join转为mapjoin的开关。 说明: 在使用Hive进行联表查询,且关联的表无大小表的分别(小表数据<24M)时,建议将此参数值改为false,如果此时将此参数设置为true,执行联表查询时无法生成新的mapjoin。 取值范围:
name”的参数值可在安装了Kafka客户端的节点的“客户端安装目录/Kafka/kafka/config”目录下的“server.properties”文件中,搜索“sasl.kerberos.service.name”、“security.protocol”或“kerberos.domain
支持数据复制(带Replicated前缀的表引擎) 支持数据抽样 在写入数据时,该系列引擎表会按照分区键将数据分成不同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。 MergeTree 建表语法:
支持数据复制(带Replicated前缀的表引擎) 支持数据抽样 在写入数据时,该系列引擎表会按照分区键将数据分成不同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。 MergeTree 建表语法:
Hive基于输入文件大小将普通join转为mapjoin的开关,取值范围为: true false 说明: 在使用Hive进行联表查询,且关联的表无大小表的分别(小表数据<24MB)时,建议将此参数值修改为“false”,如果此时将此参数设置为true,执行联表查询时无法生成新的mapjoin。
访问用户需要包含访问集群中服务所需要的最小权限。只能包含英文字母、数字和下划线,且不能多于100个字符。 “是否安全版本”选择“是”时存在此参数。 flink_admin 客户端配置文件 集群客户端配置文件,格式为tar。 - 用户凭据 FusionInsight Manager中用户的认证凭据,格式为tar。
主页界面的左侧展示集群已安装服务组件列表信息,可查看当前集群已安装各服务的状态和告警情况。 每个服务名称左侧的表示当前该服务运行状态良好,表示当前服务启动失败,表示当前服务未启动。 同时服务名称右侧可查看当前该服务是否产生了告警,如果存在告警,则以图标区分告警的级别并显示告警数。 如果服务右侧显示则表示该服务配置已过期。
Knox高出阈值的拓扑存在连接满的可能,连接满后无法正常提供请求转发功能,影响整个MRS使用。 可能原因 用户大量使用Hue或者Manager,默认设置的Knox最大连接数较少。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。
时,将结果数据保存到HDFS中,但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句,同时spark-beeline命令行中回显的Execution ID为null,为解决JDBCServer OOM问题,同时显示信息正确,建议选择 spark.sql.
X,请执行搬迁前务必确认是否支持搬迁。 方案架构 HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS集群的默认存储位置是“/hbase”文件夹下。 HBase自带的一些机制和工具命令也可以实现数据搬迁,例如通过导出
系统管理员。 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限,确认权限是否是“755”,且“用户:属组”是否为“omm:ficommon”。 是,处理完毕。 否,执行9。 执行如下命令将文件夹权限修改为“755”,并将“用户:属组”修改为“omm:ficommon”。
时,将结果数据保存到HDFS中,但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句,同时spark-beeline命令行中回显的Execution ID为null,为解决JDBCServer OOM问题,同时显示信息正确,建议选择spark.sql.u
为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。 存储路径 例如:“tenant/s
HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,Yarn默认不会对访问用户进行鉴权,所有用户可以访问Yarn中的资源。 管
node from the cluster:从集群删除节点中 Cluster shrink failed:集群缩容失败 集群安装、扩容、缩容失败,stageDesc会显示失败的原因。 默认取值: 不涉及 createAt String 参数解释: 集群创建时间,十位时间戳。 约束限制:
以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”,请检查安全组配额是否不足,请增加配额或删除不再使用的安全组规则。 在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参