正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
M的NM不可用时,RM会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内,一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题: 使用其他的nodeSelectPolicy,如RANDOM。 参考修改集群服务
container_ID/yyyyMMdd/queryinfo.log HetuEngine计算实例的queryInfo日志,SQL运行的统计信息。 清理日志 cleanup.log 清理脚本日志。 初始化日志 hetupg.log 元数据初始化日志。 ranger-trino-plugin-enable
单击“定制”,勾选需要在MRS Manager显示的监控指标。单击“确定”保存并显示所选指标。单击“清除”可批量取消全部选中的指标项。 MRS Manager支持统计的指标共14个,界面最多显示12个定制的监控指标。 用户可以选择页面自动刷新间隔的设置,也可以单击马上刷新。勾选“全屏”会将“系统概览”窗口最大化。
同一个组的消费者的数量建议与待消费的Topic下的Partition数保持一致 若同一个组的消费者数量多于Topic的Partition数时,会有多余的消费者一直无法消费该Topic的消息,若消费者数量少于Topic的Partition数时,并发消费得不到完全体现,因此建议两者相等。 避免写入单条记录超大的数据
0及之后版本支持。 原因分析 当StoreFile文件损坏时,相关的Region会一直上线失败并重试,无法对外提供服务;当WAL文件损坏时,日志拆分会一直失败并重试,相关的Region无法重新上线并对外提供服务。 处理步骤 HBase服务端提供两个配置项来控制是否跳过损坏的StoreFile文
性。 图1 Flink架构 在本示例中,使用MRS集群内置的Flink WordCount作业程序,来分析OBS文件系统中保存的源数据,以统计源数据中的单词出现次数,相关程序代码信息介绍可参考https://github.com/apache/flink/tree/master/
properties”文件中配置。 Spooling Source在按行读取过程中,会忽略掉每一个Event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Source从Kafka的topic中消费数据,可以设置多个Source消费同一个topic的数
properties”文件中配置。 Spooling Source在按行读取过程中,会忽略掉每一个Event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Source从Kafka的topic中消费数据,可以设置多个Source消费同一个topic的数
试,并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647 ms),所以HBase客户端会在这么长的时间内一直重试,造成挂起表象。 解决方法 HBase客户端提供两个配置项来控制客户端的重试超时方式,如表1。 在“客户端安装路径/HBase/hbase/conf/hbase-site
试,并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647 ms),所以HBase客户端会在这么长的时间内一直重试,造成挂起表象。 解决方法 HBase客户端提供两个配置项来控制客户端的重试超时方式,如表1。 在“客户端安装路径/HBase/hbase/conf/hbase-site
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
任务优先级调度 在原生的YARN资源调度机制中,如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源,会使得后提交的Job一直处于等待状态,直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许用户定义不同优先级的Job,后启
用于评估Join操作是否被下推的策略。默认值:AUTOMATIC AUTOMATIC(默认值):启用基于成本的连接下推。 EAGER:尽可能下推Join。即使表统计信息不可用, EAGER也可以下推Join,这可能会导致查询性能下降,因此仅建议将EAGER用于测试和故障排除场景。 AUTOMATIC
MapReduce大任务的AM调优 操作场景 当运行一个大任务(map总数达到了10万的规模),但是一直没有运行成功。经过查询发现是ApplicationMaster(以下简称AM)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要
MapReduce大任务的AM调优 操作场景 当运行一个大任务(map总数达到了10万的规模),但是一直没有运行成功。经过查询发现是ApplicationMaster(以下简称AM)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要
以在集群内节点安装客户端为例: 登录Manager,在“主页”单击“下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
以在集群内节点安装客户端为例: 登录Manager,在“主页”单击“下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
in current user,please install the JDK and set the JAVA_HOME 集群混搭时,安装跨平台客户端时,请进入/opt/client/FusionInsight_Cluster_1_Flume_ClientConfig/Flume/