检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性,YARN集群中的节点可根据容量或业务类型不同,进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务,租户所需的资源应保证可用。
使用root用户登录ClickHouse客户端节点,创建运行目录,例如“/opt/test”,在IDEA的“target”目录下获取带有“-with-dependencies”的jar包,并将jar包和idea中conf文件夹一同上传到“/opt/test”目录,如: 执行如下命令
单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面 在“名称”中输入作业的名称。 在“类型”中选择“导出”。
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。
SessionManager.java:432) at org.apache.hive.service.cli.session.SessionManager.openSession(SessionManager.java:314) ... 12 more 原因分析 业务量大导致连接HiveServer单个节点最大连接数超过了
在HDFS WebUI,单击“DataNodes”页签,查看所有告警DataNode节点的Block数量。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令,普通模式无需执行: kinit test,输入密码完成认证(首次登录需要修改密码) 使用Spark的beeline
单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面 在“名称”中输入作业的名称。 在“类型”中选择“导出”。
监控指标参考(MRS 3.x及之后版本) FusionInsight Manager转告警监控指标可分为节点信息指标与集群服务指标。表3表示节点中可配置阈值的指标、表4表示组件可配置阈值的指标。
使用root用户登录ClickHouse客户端节点,创建运行目录,例如“/opt/test”,在IDEA的“target”目录下获取带有“-with-dependencies”的jar包,并将jar包和idea中conf文件夹一同上传到“/opt/test”目录,如: 执行如下命令
producer.config 客户端目录/Kafka/kafka/config/producer.properties 例如本示例使用主题名称为zw_tset_kafka:sh kafka-console-producer.sh --broker-list Kafka角色实例所在节点的
使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。
在HDFS WebUI,单击“Datanodes”页签,查看所有告警DataNode节点的Block数量。
每个RegionServer节点默认会缓存最近的256条慢请求和超大请求,可以通过FusionInsight Manager中HBase服务端配置参数“hbase.regionserver.slowlog.ringbuffer.size”调整缓存的大小。
如果需要在管理控制台执行作业提交操作,需要使用omm用户登录主OMS节点并执行sh /opt/executor/bin/refresh-client-config.sh命令刷新集群内置客户端。 创建OBS并行文件系统 登录OBS控制台。
使用root登录客户端安装节点,执行如下命令: cd /opt/client 执行source命令加载环境变量: source bigdata_env source Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录
例如,在银行方案中,每个节点有足够的32个CPU核,而只有64GB的内存,这个内存是不够的。例如,当每个执行器有4个内核和12GB内存,有时在查询期间发生垃圾收集(GC),会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。
HTTP请求的格式为:http://<JobManager_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端口,Path为路径的部分