检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_t
Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。 操作步骤 使用Ranger管理员用户
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。
使用客户端运行Loader作业 操作场景 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请
x及之前版本时： 选择“节点管理”，在待退订节点组对应的“操作”列单击“隔离节点”。 选择需要退订的节点并单击“确定”对节点进行隔离。 隔离节点过程的时长取决于节点中数据量，数据量越大则时间越长，请耐心等待。 节点隔离成功后，节点状态显示为“已隔离”。在“节点管理”页面出现“退订节点”按钮。
使用Hue提交提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下，用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。
Oozie应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop job任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，管理员可在线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
网络断连或硬件故障。 处理步骤 检查网络是否断连或硬件是否故障。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的主机地址。 登录主管理节点。 执行以下命令检查故障节点是否可以访问： ping 故障主机IP地址 是，执行2。 否，执行1
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成
YARN HA方案介绍 YARN HA原理与实现方案 YARN中的ResourceManager负责整个集群的资源管理和任务调度，在Hadoop2.4版本之前，ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceMa
该参数是用来保证在数据导入关系数据库表的过程中的事务安全性，因为在导入的过程中可能会有多个事务，那么一个事务失败会影响到其它事务，比如导入的数据会出现错误或出现重复的记录等情况，那么通过该参数可以避免这种情况。 -clear-staging-table 如果该staging-table非空，
r Ranger界面添加或者修改HBase策略时，无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题： 使用Ranger（MRS 3.x）
为“hive”。 该用户用于登录Hue WebUI。 操作步骤 登录服务页面：单击集群名称，登录集群详情页面，选择“组件管理”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 选择“Hue”，在“Hue
的数据连接。 创建数据连接 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理”，进入数据连接管理页面。 单击“创建数据连接”，在弹出的页面中选择数据连接类型，参考表1填写信息，单击“确定”，完成数据连接创建。创建完成
开发用户用于运行样例工程。用户需要有HDFS权限，才能运行HDFS样例工程。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如hdfsrole。 编辑角色，在“权限”的表格中选择“HDFS > File System > h
使用Spark2x（MRS 3.x及之后版本） Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
Manager页面，选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。 如仅需更新客户端配置文件，请参考更新客户端（3.x之前版本）页面的方法二操作。 使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点，执行以下命令切换用户。 sudo su - omm 在MRS管理控制台
续打开页面。 方法三（适用于MRS 1.9.2及之后版本）： 在集群列表页面，单击集群名称，登录集群详情页面，选择“组件管理”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 选择“Presto”并在“Presto
理，导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43009”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory（对应上报告警实例IP地址） > 定制
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
