检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse是一个用于联机分析的列式数据库管理系统，具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse、ZooKeeper 实时分析集群 实时分析集群使用Hadoop、Kafka、Flink和ClickHo
配置MapReduce应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。
r，导致上述问题产生。 解决方式： 调整NodeManager的内存，数据量比较大（1T以上）的情况下，NodeManager的内存至少在4G以上。 父主题： Spark Core
r，导致上述问题产生。 解决方法： 调整NodeManager的内存，数据量比较大（1T以上）的情况下，NodeManager的内存至少在4G以上。 父主题： Spark Core
修复Kafka 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“
Size = 文件数 * 900 Bytes，根据计算结果可估算hdfs的NameNode应设内存大小。 该参数项的内存大小取值如下： high：4G medium：2G low：256M custom：根据实际数据量大小在GC_OPTS中设置内存大小。 custom GC_OPTS J
Size = 文件数 * 900 Bytes，根据计算结果可估算hdfs的NameNode应设内存大小。 该参数项的内存大小取值如下： high：4G medium：2G low：256M custom：根据实际数据量大小在GC_OPTS中设置内存大小。 custom GC_OPTS J
mx”值的1/8，比如：当“-Xmx”设置为8G时，“-XX:MaxDirectMemorySize”设置为1024M，“-Xmx”设置为4G时，“-XX:MaxDirectMemorySize”设置为512M。并且建议“-XX:MaxDirectMemorySize”值不小于512M。
HiveServer的GC参数配置建议 当Hive GC时间超出阈值时，将“-Xmx”值调整为默认值的2倍，比如：“-Xmx”默认设置为2G时，调整“-Xmx”的值为4G。 建议同时调节“-Xms”的值，使“-Xms”和“-Xmx”比值为1:2，这样可以避免JVM动态调整堆内存大小时影响性能。 MetaServer的GC参数配置建议
为“-Xmx”大小的1/8，比如：“-Xmx”设置为2G时，“-XX:MaxMetaspaceSize”设置为256M；“-Xmx”设置为4G时，“-XX:MaxMetaspaceSize”设置为512M。 MetaServer的GC参数配置建议 建议将“-XX:MaxMetas
iveServer进程设定的堆内存的阈值时，将“-Xmx”值调整为默认值的2倍，比如：“-Xmx”默认设置为2G时，调整“-Xmx”的值为4G。在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作集群名称 > Hive > CPU和内存
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后，设置Flume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
准备Flink安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。
beeline报错如下： 原因分析 MRS不支持切换VPC，切换VPC后，节点的内网IP变化，但是配置文件和数据库还是原有的IP，导致集群通信等功能异常，集群状态也会异常。所以要恢复集群，就需要将节点切回到原来的VPC，并且IP和hosts文件中的IP主机映射一一对应。 处理步骤
一次。 Compaction作业配置的资源，vcore数至少要大于等于单个分区的桶数，vcore数与内存的比例应为1：4即1个vcore配4G内存。 父主题： Bucket调优示例
ClickHouse集群：ClickHouse集群是一个用于联机分析的列式数据库管理系统，具有压缩率和极速查询性能。广泛用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 实时分析集群：实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。
大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力
Oozie的GC参数配置建议： 建议将“-XX:MaxDirectMemorySize”值设置为“-Xmx”值的1/4，比如：当“-Xmx”设置为4G时，“-XX:MaxDirectMemorySize”设置为1024M，“-Xmx”设置为2G时，“-XX:MaxDirectMemory
为“-Xmx”大小的1/8，比如：“-Xmx”设置为2G时，“-XX:MaxMetaspaceSize”设置为256M；“-Xmx”设置为4G时，“-XX:MaxMetaspaceSize”设置为512M。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。
YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度工作，也就是说Client不能离开。 父主题： 作业管理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
