检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create<keyname>
eeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果
上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
r节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行5 否,执行3 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查主集群RegionServer的Region分布情况 在FusionInsight
role=server"命令查看当前节点是否存在flume进程。 是,执行3。 否,重启Flume故障实例或Flume服务,执行2。 在告警列表中查看“Flume服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在FusionInsight Manager界面,选择“运维
内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。 表1 参数说明 配置参数 说明 默认值 GC_PROFILE NameNode所占内存主要由FsImage大小决定。FsImage Size =
告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,需单击1获取到的IP地址对应的ConfigNode,在“概览”界面查看“ConfigNode垃圾回收(GC)总时间”图表中的ConfigNode进程的GC时间是否大于阈值。
x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。 单击“KafkaTopic监控”。 主题列表默认显示所有主题。可以查看主题的分区数和备份数。 在主题列表单击指定主题的名称,可查看详细信息。 如果执行过以下几种操作: Kafka或者Zookeeper进行过扩容或缩容操作。
选择“更多 > 重启服务”重新启动ZooKeeper服务实例。重启完成后在告警列表中,查看“Loader服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 在FusionInsight Manager的告警列表中,查看是否有“进程故障”告警产生。 是,执行4。 否,执行7。 在“ALM-12007
KafkaProperties kafkaProc = KafkaProperties.getInstance(); // Broker地址列表,根据集群实际情况配置 props.put(BOOTSTRAP_SERVERS, kafkaProc.getValues(BOOTSTRAP_SERVERS
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Agent > Flume堆内存使用率”,单击“确定”。 图1 Flume堆内存使用率 查看Flume
否,操作结束。 在FusionInsightManager首页,选择“ 集群 > Impala > 实例 > 告警上报的Impalad实例 > 图表 > 进程FGCT ”,查看FGC时间是否大于1中的阈值。 是,执行4。 否,执行5。 通过“运维 > 告警 > 阈值设置 > Impala
如果某个DataNode日志中打印“Too many open files”,说明该节点文件句柄不足,导致打开文件句柄失败,然后就会重试往其他DataNode节点写数据,最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少,如果很小,建议修改成640000。
体以实际环境为准。 访问开源组件Web页面 登录MRS Manager页面。 详细操作请参考访问MRS集群Manager。 参考表1访问对应站点。 表1 开源组件Web站点地址 站点类型 站点地址(MRS 3.x之前版本) 站点地址(MRS 3.x及之后版本) HDFS NameNode
置文件更新客户端。 更新客户端配置 方法一: 访问FusionInsight Manager(MRS 3.x及之后版本),在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件?
实例主机名。 选择“集群 > 服务 > HDFS > 实例”,根据1中获取的主机名称,单击对应DataNode角色。 选择“图表 > 性能”,查看监控图表“每秒出现慢Flush或Sync的次数”、“每秒出现慢SyncWriterOsCache的次数”、“每秒出现慢WriteDat
KafkaProperties kafkaProc = KafkaProperties.getInstance(); // Broker地址列表,根据集群实际情况配置 props.put(BOOTSTRAP_SERVERS, kafkaProc.getValues(BOOTSTRAP_SERVERS
产生告警的主机名。 对系统的影响 如果一直无法获取到新的临时委托凭据,会导致在当前使用的临时委托凭据过期后,系统无法访问OBS,对于配置冷热分离策略的表无法进行OBS冷数据读写等操作。 可能原因 ClickHouse配置的OBS参数错误。 IAM服务异常。 处理步骤 检查冷热分离相关配置信息
参考信息 nimbus.task.launch.secs和supervisor.worker.start.timeout.secs这两个参数分别代表nimbus端和supervisor端对于拓扑启动的超时容忍时间,一般nimbus.task.launch.secs的值要大于等于supervisor
Storm提供了如表2所示的日志级别。 运行日志和审计日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。