检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用开发常用概念 Table Kudu Table可以创建为内部表或外部表,其中内部表由Impala管理,而外部表不由Impala管理,但可以通过Impala进行查询。 Table有schema和primary key属性,且可以划分为多个tablet。 Tablet T
MRS 2.0.1.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.3 发布时间 2019-12-25 解决的问题 MRS 2.0.1.3 修复问题列表: MRS Manager 优化扩缩容逻辑,解决V1作业管理接口tcp连接残留问题 MRS大数据组件 MRS
对系统的影响 业务延迟:主机D状态和Z状态进程数过高时,无法创建新的业务进程,可能会导致并发任务处理变慢、业务延迟。 业务失败:主机D状态和Z状态进程数过高时,无法创建新的业务进程,可能会导致作业运行失败。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
Threshold 产生告警的阈值。 对系统的影响 RegionServer RPC连接数超过阈值,表示当前节点访问并发数过多,会对当前RegionServer造成很大压力,导致响应缓慢。对于时延敏感型业务,可能会导致大量的业务读写请求超时。 可能原因 应用访问HBase并发数过高。 处理步骤 在FusionInsight
升级路径不一样重启的服务不一样,详情见如下表格。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.3.0.3 MRS 3.3.0.3.1 StarRocks 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 StarRocks 直接重启 存量作业和新提交作业会失败。 5-10分钟
g-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报
g-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报
g-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报
g-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 floatip进程持
否,重启RangerAdmin故障实例或Ranger服务,执行4。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 在告警列表中查看“Ranger服务不可用”告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维
等待几分钟后,在告警列表中查看“HBase热点检测功能不可用”告警是否清除。 是,处理完毕。 否,执行5。 检查HBase服务状态。 在FusionInsight Manager的服务列表中,查看HBase运行状态是否为“良好”。 是,执行9。 否,执行6。 在告警列表中,查看是否有“ALM-19000
Project”,将该项目添加为Maven Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图6 Add as Maven Project 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图7 Settings 选择“Build
重启Tomcat,并等待启动成功。 以omm用户执行以下命令,查询出Tomcat进程的PID号。 ps -ef|grep apache-tomcat 使用kill -9 PID命令强制停止查询出来的Tomcat进程,例如: kill -9 1203 执行以下命令进行重启。 sh ${BIGD
Project”,将该项目添加为Maven Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图6 Add as Maven Project 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图7 Settings 选择“Build
程中,服务的部分业务不中断。 MRS 3.x版本暂不支持在管理控制台执行本章节操作。 当前MRS集群中,服务和实例是否支持滚动重启如表1所示。 表1 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster
周期备份任务失败,可能会导致长时间没有可用的备份包,在系统出现异常时,无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况,直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足 在MRS Manager界面,单击“告警管理”。 在告警列表中单击该告警的,从“定位信息”处获得“任务名”。
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务,然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务,将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后,告警消除。 告警属性
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。