检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。
如,Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。 操作Hive中所有的数据库和表。
集群未安装Hive服务时Hue原生页面无法正常显示 问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 回答 MRS 3.x及之后版本,Hue依赖Hive组件,当集群没有安装Hive服务时,登录Hue服务原生页面会显示空白。 如果出现此情况,首先需要检查当前集群是否安
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程 例如: oozie job -oozie
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程 例如: oozie job -oozie
alarm.rocksdb.background.jobs.multiplier 2 flush/compaction的请求量超过了state.backend.rocksdb.thread.num的multiplier倍数,作业将上报告警 在“作业管理”页面单击“启动”运行作业。
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。
重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。 在MRS集群概览页面,获取弹性IP,使用该IP登录Master节点,执行如下命令刷新集群内置客户端。 su - omm sh /opt/executor/bin/refresh-client-config
景,例如:Kafka Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群,包含HDFS、Kafka及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight
ALM-45449 ClickHouse使用zxid即将翻转 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 ClickHouse依赖ZooKeeper,zxid(ZooKeeper Transaction ID)是ZooKeeper为了实现分布式一致性而引入的一种事务编
Kerberos认证、主机名前缀、标签、委托(集群节点默认绑定的委托名称)、日志转储、日志记录 默认克隆 元数据、告警、指标共享、弹性公网IP、补丁、数据盘加密、资源池、自定义配置 不支持克隆 引导操作、弹性伸缩策略、作业 可选克隆 克隆MRS集群 登录MRS管理控制台。 在左侧
重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。 在MRS集群概览页面,获取弹性IP,使用该IP登录Master节点,执行如下命令刷新集群内置客户端。 su - omm sh /opt/executor/bin/refresh-client-config
如,Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。 操作Hive中所有的数据库和表。
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题: 登录集群Manager常见异常问题
Manager系统。 选择“服务管理 > Storm > 下载客户端 > 完整客户端”,下载客户端程序到“远端主机”,即目标ECS。 登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client.tar tar
更改DataNode的存储目录 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时,MRS集群管理员需要在FusionInsight Manager中修改DataNode的存储目录,以保证HDFS正常工作。适用于以下场景:
HDFS客户端安装目录 source bigdata_env kinit 业务用户 执行以下命令删除之前记录的损坏的块。 hdfs dfs -rm -skipTrash /tmp/hive-scratch/omm/_tez_session_dir/xxx-resources/xxx.jar 执行
登录FusionInsight Manager页面,在告警列表中,单击此告警所在行的下拉箭头,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以root用户登录告警所在节点,执行命令df -h观察磁盘使用为100%的挂载目录。 执行命令find / -xdev -size