检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息, 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息,并将其写入到特定的Topic(cdl_snapshot_topic
操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。
使用客户端运行Loader作业 操作场景 一般情况下,用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时,必须对已安装的Loader客户端进行配置。
HDFS客户端运行时的日志是默认输出到管理控制台的,其级别默认为INFO。
当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请求的用户的权限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。
MRS 2.x及之前版本,选择“服务管理 > Yarn > 服务配置”,“参数类别”设置为“全部配置”。 MRS 3.x及之后版本,选择“集群 > 服务 > Yarn > 配置”,单击“全部配置”。
查看主机监控图表信息 通过MRS管理控制台查看: 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 单击“节点管理”并展开节点组信息,查看所有主机状态。 主机列表中包括节点名称/资源ID、IP、状态、规格、云硬盘、可用区等信息。
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 如果当前故障节点为主管理节点,当登录主管理节点时无法登录,则说明可能为主管理节点网络故障,请执行4。
在“节点管理”页面出现“退订节点”按钮。 集群版本为MRS 3.1.0、3.1.5、3.2.0-LTS.1版本时: 选择“节点管理”,在待退订节点组对应的“操作”列单击“退服节点”。 选择需要退服的节点并单击“确定”对节点进行退服。
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码(普通模式不涉及)。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
/kafka-topics.sh:Kafka Topic管理工具 MRS 3.x之前版本:执行以下命令,管理Kafka主题。
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。
具体操作:在公有云管理控制台,选择“基本信息 > Yarn监控信息”进入Web界面,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施。 或者也可以通过查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。
前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。
Oozie应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎,Oozie流程基于有向无环图(Directed Acyclical Graph)来定义和描述,支持多种工作流模式及流程定时触发机制。
在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户,登录安装HBase客户端的节点。 进入HBase客户端安装目录: 例如:cd /opt/client 执行以下命令配置环境变量。
项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
登录MRS管理控制台。 单击集群名称进入集群详情页面。 单击“文件管理”,选择“HDFS文件列表”。 进入数据存储目录,如“bd_app1”。 “bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的目录。