检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主机级别关注主机的一系列指标是否正常。 本章节指导用户在日常运维中完成集群健康检查的工作,以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 执行MRS集群健康检查前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IA
topic中每个partition数据的副本数。 {Topic} Topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10.96.101.177:2181,10.91.8.160:21
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。
ntPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到"/srv/BigData/hadoop/data1/kafka-logs”,完成迁移所需的json配置文件,内容如下。
enabled”的值设置为“false”。 单击“保存”在弹出窗口单击“确定”。 针对MRS 3.x之前版本,请单击“保存配置”在弹出窗口单击“是”。 选择“概览 > 更多 > 重启服务”,重启Hive服务,输入密码开始重启服务。 针对MRS 3.x之前版本,请在“服务状态”页签选择“更多
number_pending_application int 当前的挂起请求数量。如果是中间队列/父队列,这是所有子队列的集合。 number_running_application int 当前正在运行应用的数量。如果是中间队列/父队列,这是所有子队列的集合。 number_pending_request
number_pending_application int 当前的挂起请求数量。如果是中间队列/父队列,这是所有子队列的集合。 number_running_application int 当前正在运行应用的数量。如果是中间队列/父队列,这是所有子队列的集合。 number_pending_request
number_pending_application int 当前的挂起请求数量。如果是中间队列/父队列,这是所有子队列的集合。 number_running_application int 当前正在运行应用的数量。如果是中间队列/父队列,这是所有子队列的集合。 number_pending_request
登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的,需要主NameNode的IP和http/https端口。 单击“实例”,进入HDFS实例界面,找到“NameNode(hacluster
number_pending_application int 当前的挂起请求数量。如果是中间队列/父队列,这是所有子队列的集合。 number_running_application int 当前正在运行应用的数量。如果是中间队列/父队列,这是所有子队列的集合。 number_pending_request
登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的,需要主NameNode的IP和http/https端口。 单击“实例”,进入HDFS实例界面,找到“NameNode(hacluster
=> 'delete'}。 describe 获取表的描述信息,例如describe 'test'。 drop 删除指定表。删除前表必须已经是停止状态,例如drop 'test'。 put 写入指定cell的value。Cell的定位由表、rowk、列组合起来唯一决定,例如put 'test'
如需还原某次配置变更,可单击记录所在行“操作”列的“还原配置”按钮,在弹出的窗口中单击“确定”。 针对同一服务实例下的同一配置,如果修改了多次,还原配置时必须从该配置的最新修改时间开始还原,不能从中间某次进行还原。 部分配置项在修改参数值后需重启对应服务才会生效,在保存配置后请及时重启配置过期的服务或实例。 查看角色实例配置文件
集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Clien
ryServer会定时去清理HDFS上存储的旧的日志文件(默认目录为HDFS文件系统中的“/mr-history/done”),具体清理的时间间隔参数配置为mapreduce.jobhistory.max-age-ms,默认值为1296000000,即15天。 表1 MR日志列表
ryServer会定时去清理HDFS上存储的旧的日志文件(默认目录为HDFS文件系统中的“/mr-history/done”),具体清理的时间间隔参数配置为mapreduce.jobhistory.max-age-ms,默认值为1296000000,即15天。 表1 MR日志列表
需提前手动创建: user/<用户名>/.Trash user/omm/.Trash 文件过期删除天数 策略配置范围内的对象最后一次更新后时间达到指定的天数后,对象将过期并自动被OBS删除。 30天 单击“确定”,完成生命周期规则配置。 若您需修改生命周期的内容,请单击该生命周期
createDefault()) { HttpPost httpPost = new HttpPost(PUT_URL);//请求需要设置超时时间 addTimeout(httpPost); String weatherData = genWeatherData();
WebUI的任务列表后台分页功能后,每个分页显示的最大作业数量。 5000 显示更多的历史作业,会影响性能,增加打开Yarn WebUI的时间,建议开启后台分页功能,并根据实际硬件性能修改“yarn.resourcemanager.max-completed-applications”参数。
启HDFS服务。 “HTTP_ONLY”默认是勾选的。 操作步骤 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http访问的,需要主NameNode的IP和http端口。