检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”。 Ldap用户或管理账户连续使用错误密码操作Ldap次数大于5次时,会造成LDAP用户或管理账户被锁定。用户被锁定之后,5分钟后会自动解锁。 该操作仅适用于MRS 3.x及之后版本。
安装补丁 登录MRS管理控制台。 选择“现有集群”,选中需要安装补丁的集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
分之百时无法处理外部连接。 可能原因 该节点ZooKeeper连接量过大,超过阈值。某些连接进程存在连接泄露,或配置的最大连接数不符合实际使用场景。 处理步骤 检查连接状态。 在MRS集群详情页,单击“告警管理 > 13001连接数不足 > 定位信息”。查看告警上报的节点IP地址。
在数据同步过程中不可避免会出现数据重复写入、数据乱序问题,例如:异常数据恢复、写入程序异常重启等场景。通过设置合理precombine字段值可以保证数据的准确性,老数据不会覆盖新数据,也就是幂等写入能力。该字段可用选择的类型包括:业务表中更新时间戳、数据库的提交时间戳等。pr
开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1
ClickHouse节点及容量规划如下: 磁盘规划 由于ClickHouseServer业务数据主要存储在本地磁盘上,数据量可能会随着集群使用时间增长而增长,通常建议ClickHouse数据盘单独挂载,元数据盘共享第一个数据盘目录。 磁盘实际容量 由于磁盘存在1MB = 1024
下参数阈值: 如果“附加信息”中包含“available Memory =”,调整“yarn.queue.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available Memory =”的值。 如果“附加信息”中包含“available vCores
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client
检查HQL命令是否符合语法。 在FusionInsight Manager界面选择“运维 > 告警”,查看告警详情,获取产生告警的节点信息。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki
登录Manager页面,选择“系统设置 > 用户管理”。在提交作业的IAM用户的操作列,选择“更多 > 初始化密码”,根据界面提示操作。初始化完成后需要使用该用户登录一次MRS Manager。 登录MRS管理控制台,进入MRS集群,在“概览”页面,单击“IAM用户同步”右侧的“单击同步”。
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client
COMPLEX read.streaming.check-interval 选填 流读检测上游新提交的周期,默认值为1分钟。 5(流量大建议使用默认值) read.end-commit 选填 Stream增量消费,通过参数read.streaming.start-commit指定起始消费位置;
HBase任务时HBase服务异常 依赖的基础服务HDFS、Yarn、ZooKeeper等异常 处理步骤 检查HiveQL命令是否符合语法。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HiveQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki
ENGINE = Distributed(default_cluster, default, my_table_local, rand()); 使用说明 分布式表名称:default.my_table_dis。 本地表名称:default.my_table_local。 通过“AS”关
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务”。 选择“HDFS > 实例”。 在实例页面中,查看JournalNode的“运行状态”是否为“良好”。 是,执行11。 否,执行9。 选择故障的JournalNode,选择“更多 >
说明 Scala API 提供Scala语言的API,提供过滤、join、窗口、聚合等数据处理能力。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API,提供过滤、join、窗口、聚合等数据处理能力。 有关Flink的
是,执行3。 否,执行1.c。 重启DataNode实例,查看能否成功启动。 是,执行2.b。 否,执行2.a。 删除被破坏的文件。 在集群节点使用客户端。执行hdfs fsck / -delete,删除丢失文件。然后再次写入文件,恢复数据。 等待5分钟后,单击“告警管理”,查看该告警是否恢复。
Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查主备节点磁盘空间 分别登录主备OMS节点,查看磁盘使用信息。 执行以下命令,查看“/”目录的可用空间是否大于30GB。 df -h / 否,清理磁盘空间。 是,检查结束。 检查集群是否有非标修改组件配置的操作
RS还没支持的第三方软件,修改集群运行环境等自定义操作。如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本,脚本内部可以通过su - xxx命令切换用户。 客户价值 MRS提供了自定义引导操作,用户可以灵活、便捷地配置自己的专属集群,自定义安装软件。
/proc/net/bonding/: No such file or directory 执行cat /proc/net/bonding/bond0命令,查看配置文件中Bonding Mode参数的值是否为fault-tolerance。 bond0为bond配置文件名称,请以2查询出的文件名称为准。 # cat