-
ZooKeeper常见问题 - MapReduce服务 MRS
ZooKeeper常见问题 创建大量ZNode后ZooKeeper Server启动失败 为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是leader
-
计费模式概述 - MapReduce服务 MRS
秒级计费,按小时结算。 - 适用计费项 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。 计费项 变更计费模式 - 支持变更为包年/包月计费模式。 按需转包年/包月 变更规格 支持变更规
-
如何关闭防火墙服务? - MapReduce服务 MRS
service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl stop firewalld.service命令。 父主题: 性能优化类
-
与其他云服务的关系 - MapReduce服务 MRS
云审计服务(CTS)为用户提供MRS资源操作请求及请求结果的操作记录,供用户查询、审计和回溯使用。 表2 云硬盘(Elastic Volume Service) 云硬盘可以为MRS使用的弹性云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。 扩容数据盘 云监控服务(Cloud Eye)
-
HBase JVM参数优化说明 - MapReduce服务 MRS
当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/Fusio
-
按需计费 - MapReduce服务 MRS
MRS集群管理服务费仍旧正常计费,如需停止计费请删除相应集群。 弹性云服务器的关机计费规则请参见弹性云服务器计费说明。 云硬盘的关机计费规则请参见云硬盘计费说明。 父主题: 计费模式
-
Hudi故障处理 - MapReduce服务 MRS
Hudi故障处理 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间
-
添加集群/节点标签 - MapReduce服务 MRS
MRS标签更新会同步到集群中的云服务器(ECS)或云硬盘(EVS)标签上,但是在ECS或EVS控制台上修改MRS集群的标签不会同步到集群上,为了使所有ECS/ECS标签与MRS标签保持一致,不建议在云服务器(ECS)或云硬盘(EVS)控制台上修改MRS集群标签。 系统支持添加多个标
-
MRS集群是否支持切换操作系统? - MapReduce服务 MRS
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群节点不支持切换操作系统。 父主题: 性能优化类
-
MRS集群是否支持重装系统? - MapReduce服务 MRS
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群不支持重装系统。 父主题: 性能优化类
-
建立Hive表分区提升查询效率 - MapReduce服务 MRS
dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区,对应的创建大量新文件夹,对系统性能可能带来影响。 在文件数量大的情况下,执行一个SQL语句启动时间较长,可以在执行SQL语句之前执行“set mapreduce.input
-
网络问题导致运行应用程序时出现异常 - MapReduce服务 MRS
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
-
性能调优 - MapReduce服务 MRS
性能调优 Storm性能调优 父主题: 使用Storm
-
扩容ClickHouse节点磁盘 - MapReduce服务 MRS
登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 单击“节点管理”,在对应的ClickHouse节点组下,单击要扩容的节点名称,进入到“云硬盘”界面。 在对应的数据盘单击“扩容”,进入到扩容磁盘界面。 如果当前界面只能看到系统盘,没有数据盘则表示当前ClickHouse节点数据盘暂不支持通过该操作进行扩容。
-
购买自定义集群 - MapReduce服务 MRS
钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。MRS 3.1.0及MRS 3.1.2-LTS.3版本暂时没有该参数。 使用用户主密钥加密云硬盘,若对用户主密钥执行禁用、计划删除等操作,将会导致云硬盘不可读写,甚至数据永远无法恢复,请谨慎操作。
-
使用External Shuffle Service提升性能 - MapReduce服务 MRS
使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。当Executor进程任务过重,导致GC而不
-
如何提高集群Core节点的资源使用率? - MapReduce服务 MRS
nodemanager.resource.memory-mb”的值,请根据集群的节点内存实际情况调大该值。 保存配置并重启受影响的服务或实例。 父主题: 性能优化类
-
Flume启动失败 - MapReduce服务 MRS
Flume启动失败 问题现象 安装Flume服务或重启Flume服务失败。 原因分析 Flume堆内存设置的值大于机器剩余内存,查看Flume启动日志: [CST 2019-02-26 13:31:43][INFO] [[checkMemoryValidity:124]] [GC_OPTS
-
使用Hudi - MapReduce服务 MRS
Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi常见配置参数 Hudi性能调优 Hudi常见问题
-
Hive性能调优 - MapReduce服务 MRS
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题: 使用Hive