检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用率超过阈值。 处理步骤
解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表: MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题
hadoop_job 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 常用运行程序参数如表2。 - 执行程序参数 可选参数,程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 多个
产生告警的主机名。 Lost Host 丢失节点的主机列表。 对系统的影响 丢失的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 可能原因 NodeManager没有经过退服操作,强制被删除。 NodeManager所有实例被停止或者进程故障。 NodeManager节点所在主机故障。
FlinkSQL支持通过使用参数“source.parallelism”设置Source算子的并发数,解决下游算子的并发数引起的一些问题,例如下游算子发送数据倾斜、背压、作业性能慢等问题。 该特性会将Source和下游算子的Forward分区改为Rebalance分区,所以当Source算子的并发数和下游算子的并发
建立分区表并且查询带分区过滤条件有助于过滤部分分区数据,从而提高性能。 Insert优化 通过设置“task.writer-count”的值为“1”和增大“hive.max-partitions-per-writers”的值有助于提升Insert性能。可参考调整HetuEngine INSERT写入优化。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JobHistory2x进程直接内存使用率过高,会影响JobHistory2x进程运行的性能,甚至造成内存溢出导致JobHistory2x进程不可用, 进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点Jo
S_256_GCM_SHA384 设置SSL加密的算法 如果打开Task Manager之间data传输通道的SSL,对性能会有较大影响,需要用户从安全和性能综合考虑。 在Flink客户端的bin目录下,执行命令sh generate_keystore.sh <password>
态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影响,同时建议您在业务低峰期执行数据同步。 当前ClickHouse支持和RDS服务下的MySQL、PostgreSQL实例进行对接,不支持对接SQL
如果在集群使用时,配置的弹性伸缩功能新增了节点,则包年/包月集群和按需计费集群新增节点的计费都是按实际使用时长计费,计费周期为一小时。 缩容会影响MRS集群性能,通常不建议您这样操作,缩容节点按实际使用时长计费,集群后续费用不再收取该节点费用。 到期后影响 图1描述了包年/包月MRS集群资源各个阶
列都是窄依赖,就可以把很多个fork/join并为一个,不但减少了大量的全局barrier,而且无需物化很多中间结果RDD,这将极大地提升性能。Spark把这个叫做流水线(pipeline)优化。 Transformation和Action(RDD的操作) 对RDD的操作包含Tr
/srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数(数据条数)。增大会提升性能,降低实时性;反之降低性能,提升实时性。 61200 dataDirs 缓冲区数据保存目录,默认为运行目录。配置多个盘上的目录可以提升传输效率,多个目录
支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性:特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分为
/srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数(数据条数)。增大会提升性能,降低实时性;反之降低性能,提升实时性。 61200 dataDirs 缓冲区数据保存目录,默认为运行目录。配置多个盘上的目录可以提升传输效率,多个目录
态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影响,同时建议您在业务低峰期执行数据同步。 当前ClickHouse支持和RDS服务下的MySQL、PostgreSQL实例进行对接,不支持对接SQL
建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。
产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Write P95耗时持续超过阈值,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。 可能原因 Flink作业RocksDB的Write P95耗时持续超过阈值的可能原因: MemT
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode非堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的非堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为安装前
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。 打开MRS集群详情页面
由于RSGroup约束了region转移可用的RegionServer节点,如果RSGroup内部分节点故障或者滚动重启,可能会触发region超过阈值的告警,也可能会导致业务性能下降。 当提交修改RSGroup请求产生大量region转移任务时,如果进行相关RSGroup操作会面临失败。需先观察WebUI页面的re