-
增加Hive表字段超时 - MapReduce服务 MRS
增加Hive表字段超时 用户问题 增加Hive表字段报错。 问题现象 Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;,报错如下: Timeout when executing
-
ClickHouse增加磁盘容量 - MapReduce服务 MRS
ClickHouse增加磁盘容量 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse集群和实例状态正常。
-
扩容集群 - MapReduce服务 MRS
扩容集群 MRS的扩容不论在存储还是计算能力上,都可以简单地通过增加Core节点或者Task节点来完成,不需要修改系统架构,降低运维成本。集群Core节点不仅可以处理数据,也可以存储数据。可以在集群中添加Core节点,通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据,不存放持久数据。
-
提升HBase实时读数据效率 - MapReduce服务 MRS
如果同时存在读和写的操作,这两种操作的性能会互相影响。如果写入导致的flush和Compaction操作频繁发生,会占用大量的磁盘IO操作,从而影响读取的性能。如果写入导致阻塞较多的Compaction操作,就会出现Region中存在多个HFile的情况,从而影响读取的性能。所以如果读取的性能不理想的时候,也要考虑写入的配置是否合理。
-
MRS集群是否支持切换操作系统? - MapReduce服务 MRS
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群节点不支持切换操作系统。 父主题: 性能优化类
-
配置弹性伸缩规则 - MapReduce服务 MRS
ResourcesPlan 参数 是否必选 参数类型 描述 period_type 是 String 资源计划的周期类型,当前只允许以下类型: daily start_time 是 String 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。
-
MRS集群是否支持重装系统? - MapReduce服务 MRS
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群不支持重装系统。 父主题: 性能优化类
-
提升HDFS写数据性能 - MapReduce服务 MRS
提升HDFS写数据性能 操作场景 在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。
-
建立Hive表分区提升查询效率 - MapReduce服务 MRS
件夹,对系统性能可能带来影响。 在文件数量大的情况下,执行一个SQL语句启动时间较长,可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat.list-status.num-threads = 100;”命令来缩短启动时间。“mapreduce
-
CarbonData调优思路 - MapReduce服务 MRS
数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器就意味着更多的执行器核数,每个执行器都可以提高数据加载性能。 同时,为了得到更好的性能,可在HDFS中配置如下参数。
-
CarbonData调优思路 - MapReduce服务 MRS
数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器就意味着更多的执行器核数,每个执行器都可以提高数据加载性能。 同时,为了得到更好的性能,可在HDFS中配置如下参数。
-
增加常量字段 - MapReduce服务 MRS
增加常量字段 概述 “增加常量字段”算子,用于直接生成常量字段。 输入与输出 输入:无 输出:常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息: 输出字段名:配置字段名。 类型:配置字段类型。 时间格式:字段类型为“DAT
-
增加常量字段 - MapReduce服务 MRS
增加常量字段 概述 “增加常量字段”算子,用于直接生成常量字段。 输入与输出 输入:无 输出:常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息: 输出字段名:配置字段名。 类型:配置字段类型。 时间格式:字段类型为“DAT
-
性能优化类 - MapReduce服务 MRS
性能优化类 MRS集群是否支持重装系统? MRS集群是否支持切换操作系统? 如何提高集群Core节点的资源使用率? 如何关闭防火墙服务?
-
支持滚动重启 - MapReduce服务 MRS
效。 批次时间间隔 滚动重启实例批次之间的间隔时间,默认为0,取值范围为0~2147483647,单位为秒。 说明:设置批次时间间隔参数可以增加滚动重启期间大数据组件进程的稳定性。建议设置该参数为非默认值,例如10。 退服超时时间 角色实例在滚动重启过程中的退服等待时间。 批次容错阈值
-
ALM-12012 NTP服务异常(2.x及以前版本) - MapReduce服务 MRS
停止所有角色”停止告警节点的所有服务。 如果告警节点时间比主OMS节点NTP服务时间慢,校正告警节点的系统时间。校正告警节点的系统时间后,选择“更多 > 启动所有角色”启动告警节点的服务。 如果告警节点时间比主OMS节点NTP服务时间快,等待相应时间差,校正告警节点的系统时间。校正完成后,选择“更多 >
-
IoTDB性能调优 - MapReduce服务 MRS
客户端到服务端通道SSL加密。 true “true”表示开启SSL加密,“false”表示关闭SSL加密。数据传输加解密对性能影响较大,经过测试发现具有200%的性能差异,因此建议性能测试时关闭SSL加密。ConfigNode和IoTDBServer两个角色同名参数都要修改。 iotdb_server_kerberos_qop
-
Flink作业RocksDB状态后端调优 - MapReduce服务 MRS
大量的状态数据会导致RocksDB的读写性能差。可通过如下方法排查算子性能是否受RocksDB影响: 在TaskManager页面的ThreadDump查看算子是否长时间执行在RocksDB的操作接口上,多次刷新后出现如下所示即长时间执行在RocksDB的操作接口上。 Join[5]
-
ALM-18020 Yarn任务执行超时 - MapReduce服务 MRS
时间是否大于超时时间。 是,执行4。 否,执行10。 请根据业务合理评估任务的预期执行时间,并与任务的超时时间对比。若超时时间设置过小,请设置客户端的超时时间(“mapreduce.application.timeout.alarm”或“spark.application.timeout
-
ZooKeeper健康检查指标项说明 - MapReduce服务 MRS
如果该指标项异常,则需要检查集群的网络速度是否正常、内存或CPU使用率是否过高。 ZooKeeper连接数使用率 指标项名称:ZooKeeper连接数使用率 指标项含义:检查ZooKeeper内存使用率是否超过80%。如果超过阈值,则认为不健康。 恢复指导:如果该指标项异常,建议增加ZooKeeper服