检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS客户端常见命令说明 操作场景 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell命令 安装客户端,具体请参考使用MRS客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录
使用客户端提交Storm拓扑 操作场景 用户可以根据业务需要,在集群的客户端中提交Storm拓扑,持续处理用户的流数据。启用Kerberos认证的集群,需要提交拓扑的用户属于“stormadmin”或“storm”组。 前提条件 已刷新客户端。 操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,修复问题。 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,可查看当前MRS集群补丁信息。 MRS
从零开始使用Storm 用户可以在MRS集群的客户端中提交和删除Storm拓扑等基本功能。 前提条件 已安装MRS集群客户端,例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 语法格式 SELECT * FROM table_name WHERE tagk=tagv LIMIT number; 关键字 参数 描述 LIMIT 对查询结果进行限制。 number 参数仅支持INT类型。
Flink客户端常见命令说明 本章节适用于MRS 3.x及之后版本。 在使用Flink的Shell脚本前,首先需要执行以下操作,详细使用场景可参考Flink客户端使用实践运行wordcount作业: 安装Flink客户端,例如安装目录为“/opt/client”。 初始化环境变量。
如何提高集群Core节点的资源使用率? 进入 Yarn服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理
是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络I
java,右键工程,选择“Run 'ColocationExample.main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。
中所有弹性云服务器全部协议全部端口的访问请求。 启用MRS集群间拷贝功能 登录其中一个集群的Manager界面。 MRS 2.x及之前版本,选择“服务管理 > Yarn > 服务配置”,“参数类别”设置为“全部配置”。 MRS 3.x及之后版本,选择“集群 > 服务 > Yarn
MRS集群中HetuEngine服务默认启用了Ranger鉴权,HetuEngine普通用户只需关联“hetuuser”用户组即可。如果关闭了Ranger鉴权,必须给用户同时关联“hive”用户组并将其设置为主组,否则可能无法正常使用HetuEngine服务。 启用了Ranger鉴权时
非安全模式:true 是 zookeeper.sasl.service-name 如果ZooKeeper服务端配置了不同于“ZooKeeper”的服务名,可以设置此配置项。 如果客户端和服务端的服务名不一致,认证会失败。 zookeeper 是 Environment 表11 Environment参数说明
mapred-default.xml文件解析异常导致WebHCat启动失败 用户问题 MRS的Hive服务故障,重新启动后,Master2节点上的HiveServer和WebHCat进程启动失败,Master1节点进程正常。 原因分析 登录Master2节点,查看“/var/lo
HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程介绍 父主题: HBase开发指南
HDFS应用开发概述 HDFS应用开发简介 HDFS应用开发常用概念 HDFS应用开发流程介绍 父主题: HDFS开发指南
Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题: Spark开发指南
调测Storm应用 生成Storm应用Jar包 在Linux环境中调测Storm应用 查看Storm应用调测结果 父主题: Storm开发指南
Kafka应用开发概述 Kafka应用开发简介 Kafka应用开发常用概念 Kafka应用开发流程介绍 父主题: Kafka开发指南
Flink应用开发概述 Flink应用开发简介 Flink应用开发常用概念 Flink应用开发流程介绍 父主题: Flink开发指南
调测Flink应用 编译并运行Flink应用 查看Flink应用运行结果 父主题: Flink开发指南