检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
beeline报错如下: 原因分析 MRS不支持切换VPC,切换VPC后,节点的内网IP变化,但是配置文件和数据库还是原有的IP,导致集群通信等功能异常,集群状态也会异常。所以要恢复集群,就需要将节点切回到原来的VPC,并且IP和hosts文件中的IP主机映射一一对应。 处理步骤
Oozie的GC参数配置建议: 建议将“-XX:MaxDirectMemorySize”值设置为“-Xmx”值的1/4,比如:当“-Xmx”设置为4G时,“-XX:MaxDirectMemorySize”设置为1024M,“-Xmx”设置为2G时,“-XX:MaxDirectMemory
大型集群的所有主机通常分布在多个机架上,不同机架间的主机通过交换机进行数据通信,且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求: 为了提高通信速率,希望不同主机之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力
为“-Xmx”大小的1/8,比如:“-Xmx”设置为2G时,“-XX:MaxMetaspaceSize”设置为256M;“-Xmx”设置为4G时,“-XX:MaxMetaspaceSize”设置为512M。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。
如何在Flume配置文件中使用环境变量 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式:
YARN-Client模式下,Application Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度工作,也就是说Client不能离开。 父主题: 作业管理类
ClickHouse集群:ClickHouse集群是一个用于联机分析的列式数据库管理系统,具有压缩率和极速查询性能。广泛用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 实时分析集群:实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。
当HBase集群规模越大、Region数量越多时,可以适当调大HMaster的GC_OPTS参数,配置建议如下:Region总数小于10万个,“-Xmx”设置为4G;超过10万个,“-Xmx”设置为不小于6G;超过10万时,每增加35000个Region,增加2G的“-Xmx”,整体的“-Xmx”的大小不超过32G。
基于页面的点击事件流,面向数据仓库进行OLAP分析。当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景,在全球有大量的应用和实践,具体请参考:https://clickhouse.tech/docs/
以root用户登录告警上报的实例的IP地址,执行free -g命令,查看“free”列的“Mem”值即为节点可用内存,如下示例中节点可用内存为4G。 total used free shared buff/cache
当HBase集群规模越大、Region数量越多时,可以适当调大HMaster的GC_OPTS参数,配置建议如下:Region总数小于10万个,“-Xmx”设置为4G;超过10万个,“-Xmx”设置为不小于6G;超过10万时,每增加35000个Region,增加2G的“-Xmx”,整体的“-Xmx”的大小不超过32G。
Spark目前支持通过共享密钥认证。可以通过spark.authenticate配置参数配置认证。该参数控制Spark通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建: 对于YARN部署的Spark,将spark.
Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 默认”,“SPARK_DRIVER_MEMORY”参数默认值为4G,可根据如下原则调整:可将“SPARK_DRIVER_MEMORY”参数调整为默认值的1.5倍;若参数值调整后,仍偶现告警,可按0.5倍速
Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的默认值为4G,可根据如下原则进行调整:若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。
> 默认”,将“SPARK_DAEMON_MEMORY”参数的值根据如下原则调整:“SPARK_DAEMON_MEMORY”参数默认值为4G,若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。 重启所有的JobHistory2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。
Spark目前支持通过共享密钥认证。可以通过spark.authenticate配置参数配置认证。该参数控制Spark通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建: 对于YARN部署的Spark,将spark.
Spark2x > 配置”,单击“全部配置”,选择“JobHistory2x > 默认”,将“SPARK_DAEMON_MEMORY”参数的默认值为4G,可根据如下原则进行调整:若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。 重启所有的JobHistory2x实例。
状态以便在必要时进行快速主备切换。 为保持Active和Standby节点的数据一致性,两个节点都要与一组称为JournalNode的节点通信。当Active对文件系统元数据进行修改时,会将其修改日志保存到大多数的JournalNode节点中,例如有3个JournalNode,则
Spark2x > 配置”,单击“全部配置”,选择“JDBCServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的默认值为4G,可根据如下原则进行调整:若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据,实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。