检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
恢复,恢复过程中包括拆分WAL文件。在WAL文件拆分过程中,会产生大量的小文件,可能造成HDFS的性能瓶颈,导致服务恢复时间过长。 本功能主要在拆分过程中将原本的小文件写入到HAR文件中,旨在减少拆分WAL过程中产生的小文件,从而缩短RegionServer恢复时长。 HBase开源增强特性:Batch
ck.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。 审计日志 zk-audit-quorumpeer.log ZooKeeper操作审计日志。 日志级别 ZooKeeper中
${SRV_HOME}/tmp/yarn-nm-recovery yarn.nodemanager.recovery.supervised NodeManager是否在监控下运行。开启此特性后NodeManager在退出后不会清理containers,NodeManager会假设自己会立即重启和恢复containers。
ck.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。 审计日志 zk-audit-quorumpeer.log ZooKeeper操作审计日志。 日志级别 ZooKeeper中
采用天级分区,平均的日增数据量是3GB,最多一天的日志是8GB,这个会采用Bucket桶数= 8GB/2GB = 4 来创建表;每天的更新数据占比较高,且主要分散到近一个月。这样会导致结果是,每天的数据会写入到全月的Bucket桶中,那就是4*30 = 120个桶。如果采用月分区,分区桶的个数=
Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa.log openJPa运行日志 oozie.log Oozie运行日志 oo
WebUI界面,页面报错401。 在Ranger管理首页可查看当前Ranger已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集
Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa.log openJPa运行日志 oozie.log Oozie运行日志 oo
ine\config”,手动将配置文件导入到HetuEngine样例工程的配置文件目录中(例如:D:\hetuclient\conf)。 主要配置文件说明如表3所示(根据需要获取所需文件)。 表3 配置文件 文件名称 作用 hdfs-site.xml 配置HDFS详细参数。 hetuserver-client
HBase客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。
AM通过此接口请求NM停止一系列已分配的Containers。 样例代码 YARN作业提交的样例代码详细可以参考MapReduce开发指南中的MapReduce访问多组件样例代码,实现建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。 父主题: YARN接口介绍
AM通过此接口请求NM停止一系列已分配的Containers。 样例代码 YARN作业提交的样例代码详细可以参考MapReduce开发指南中的MapReduce访问多组件样例代码,实现建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。 父主题: YARN接口介绍
Hudi表做过Clean,如果没有做过Clean就不会执行Archive(MRS 3.3.1-LTS及以后版本,忽略此项条件)。 建议 Archive作业每天至少执行一次,可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Archive,MOR表的Archive可以参考2
如果当前集群支持手动添加服务,也可以在首次添加HBase服务时,选择部署Thrift1Server实例,服务添加成功后,需重启Hue服务,详情请参考添加服务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击HBase,进入“HBase Browser”页面。 新建HBase表
AM通过此接口请求NM停止一系列已分配的Containers。 样例代码 YARN作业提交的样例代码详细可以参考MapReduce开发指南中的MapReduce访问多组件样例代码,实现建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。 父主题: YARN接口介绍
的一些问题,例如下游算子发送数据倾斜、背压、作业性能慢等问题。 该特性会将Source和下游算子的Forward分区改为Rebalance分区,所以当Source算子的并发数和下游算子的并发数(parallelism数)不一致时,且作业不允许数据乱序,需要在启用该特性的同时开启D
HDFS客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载key
开启HetuEngine自适应查询执行 本章节适用于MRS 3.2.0及以后版本。 HetuEngine自适应查询介绍 一般来说,大任务的SQL语句(例如在从整个表中扫描大量数据的情况)会占用大量的资源,在资源紧张的情况下,会影响其他任务的负载。这不仅导致用户体验不佳,也会提高运