检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
g-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报
g-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 用户自己开发的应用程序以及样例工程都可使用上述命令提交。 但是Spark开源社区提供的KafkaWordCount等样例程序,不仅需要添加--jars参数,还需要配置其他,否则会报
重启Tomcat,并等待启动成功。 以omm用户执行以下命令,查询出Tomcat进程的PID号。 ps -ef|grep apache-tomcat 使用kill -9 PID命令强制停止查询出来的Tomcat进程,例如: kill -9 1203 执行以下命令进行重启。 sh ${BIGD
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 floatip进程持
否,重启RangerAdmin故障实例或Ranger服务,执行4。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 在告警列表中查看“Ranger服务不可用”告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Project”,将该项目添加为Maven Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图6 Add as Maven Project 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图7 Settings 选择“Build
master上;tablet server会定期向master发送心跳。 kudu kudu的管理工具,可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息,用来表示表中列的信息。 父主题: Kudu应用开发概述
客户端管理”,即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时,客户端信息会自动注册。 图1 客户端信息 如需手动添加已安装好的客户端信息,单击“添加”,根据界面提示手动添加客
Project”,将该项目添加为Maven Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图6 Add as Maven Project 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图7 Settings 选择“Build
还有业务逻辑计算,该过程会导致需要内存增加,因此建议CPU核心与内存的比例大于1:2,如果逻辑比较复杂适当调大内存,这要基于实际情况进行调整。一般默认推荐配置为1:4~1:8。 针对bucket表的写入资源配置,建议给的CPU核心数量不小于桶数目 (分区表每次可能写入多个分区,理
基本信息及解决问题列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 升级过程中会重启OMS,会导致MRS Mana
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
周期备份任务失败,可能会导致长时间没有可用的备份包,在系统出现异常时,无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况,直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足 在MRS Manager界面,单击“告警管理”。 在告警列表中单击该告警的,从“定位信息”处获得“任务名”。
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务,然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务,将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后,告警消除。 告警属性
程中,服务的部分业务不中断。 MRS 3.x版本暂不支持在管理控制台执行本章节操作。 当前MRS集群中,服务和实例是否支持滚动重启如表1所示。 表1 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster
配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。 表1 Kafka服务端传输加密参数 配置项 描述 默认值 ssl.mode.enable 是否开启SSL对应服务。如果设置为“true”
若告警原因为:Spark2x assembly包异常,则表示Spark的包存在异常,等待10分钟左右,告警自动恢复。 检查Spark2x依赖的服务是否有服务不可用告警。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在以下告警: ALM-25500
安装补丁前必读 补丁基本信息 MRS 3.3.1-LTS.1.1补丁基本信息及解决问题列表请参考补丁基本信息说明。 安装补丁前提条件 集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群
parseInt(tokens[2])); return person; } }); //使用filter函数筛选出女性网民上网时间数据信息 JavaRDD<Tuple3<String,String,Integer>>
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 httpd进程持续重启,可能引起无法访问服务原生UI界面。