检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个map最大带宽,默认值为“100”。 “NFS”:表示备份文件通过NFS协议保存在NAS中。选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。
MRS使用HDFS的副本机制来保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。 当MRS集群中Core节点规格选择为非本地盘(hdd)时,若集群中只有一个Core节点,则HDFS默认副本数为1。若集群中Core节点数大于等于2,则HDFS默认副本数为2。
拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行
MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架,其核心是
决问题列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 升级过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续3-5分钟。
集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。
HBase访问多ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时,为了避免访问连接ZooKeeper认证冲突,提供了样例代码使HBase客户端访问FusionInsight ZooK
时传输数据。 “源端路径”:参考2中获取的“备份路径”,填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 OBS 表示从OBS中恢复数据。选择此参数值,还需要配置以下参数: “源端路径”:参考2中获取的“备份路径”,填写备份文件在
重新尝试在IoTDB客户端删除“Porcedure信息”中显示的存储组,删除成功该告警将自动清除,否则执行7。 收集故障信息。 选择“集群 > 服务 > IoTDB > 实例”,查看所有IoTDBServer实例和ConfigNode实例所在的主机。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。
磁盘容量不足。 网络故障。 ZooKeeper节点上安装了DNS。 处理步骤 检查ZooKeeper服务实例状态。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > quorumpeer”。 查看ZooKeeper各实例是否正常。 是,执行6。 否,执行3。 选中健康状态不为良好的实例,单击“更多
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。
该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景,例如:Kafka
该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表:flume_test。该场景介绍的是多级agent串联操作。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景,例如Server:Spooldir
安全组 云上资源填写项 表2 硬件信息调研表 节点组 CPU和内存信息 磁盘和网络(按节点组统计) HDFS Yarn - - 磁盘信息(数据盘大小、磁盘IO、当前磁盘使用率和IO情况) 网络(网卡带宽大小、网络读写速度和峰值) NameNode DataNode JournalNode
“队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “目标NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。选择此参数值,还需要配置以下参数: “IP
作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看项目ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭
Kafka应用开发建议 同一个组的消费者的数量建议与待消费的Topic下的Partition数保持一致 若同一个组的消费者数量多于Topic的Partition数时,会有多余的消费者一直无法消费该Topic的消息,若消费者数量少于Topic的Partition数时,并发消费得不到完全体现,因此建议两者相等。
如果有这种不连续的edits文件,则需要查看其它的JournalNode的数据目录或NameNode数据目录中,有没有连续的该序号相关的连续的edits文件。如果可以找到,复制一个连续的片段到该JournalNode。 如此把所有的不连续的edits文件全部都修复。 重启NameNode,观察是否成功。如还是失败,请联系技术支持。
目前IoTDB仅支持备份业务数据到远端HDFS中,且需满足以下条件: 准备一个用于备份数据的备集群,认证模式需要与主集群相同。 若IoTDB所在集群为普通模式,则不支持备份业务数据到安全模式集群的HDFS中。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Man