检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码，其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件，
原因分析 由于MRS的域名由console-emr变更为mrs导致普通集群访问MRS Manager的链接有误。 处理步骤 以root用户登录到所有Master节点。 进入/opt/knox/conf/目录，找到ext.properties文件。 修改所有Master节点中的ext
hbase.wal.hsync 设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。若将该参数设置为true，则性能将受到影响，原因是每个WAL的编辑都会被hadoop fsync同步到磁盘上。 false hbase.hfile.hsync 设置是否启用Hfile耐久性以将数
可能原因 该节点JobHistory进程非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43007”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理
可能原因 该节点JDBCServer进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43012”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理
如何修复Overlap状态的HBase Region 问题 使用hbck工具检查Region状态，如果日志中存在“ERROR: (regions region1 and region2) There is an overlap in the region chain.”或者“ERROR:
操作步骤 下载客户端配置文件。 MRS 3.x之前版本，操作如下： 登录MRS Manager页面，具体请参见访问集群Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文
男 26 I城市 12005000210 J 女 25 J城市 操作步骤 以客户端安装用户，登录安装客户端的节点，客户端安装详细操作请参见安装客户端（3.x及之后版本）。 执行以下命令切换到客户端目录，客户端安装目录如：/opt/client。 cd /opt/client 执行以下命令配置环境变量。
重启Spark2x服务，配置生效。 如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过S
全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-example-security”工程的“conf”目录。 表1 配置文件
本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入
Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日
OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job
缺点：需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log和老数据文件合并。 Hudi表存储 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件
数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。 处理步骤 检查HBase相关配置是否合理。 登录MRS集群详情页面，选择“组件管理 > HBase > 服务配置”，将“基础配置”切换为“全部配置”，搜索“hbase.hstore.compaction
用。 可能原因 该节点JobHistory进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43006”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理
用。 可能原因 该节点JDBCServer进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43010”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理
缺点：需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log和老数据文件合并。 Hudi表存储 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件
> 样例工程名称 > Lifecycle > install”，双击“install”运行maven的install命令。 图1 maven工具clean和install 方法二：在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean install命令进行编译。
安装并启动Flume客户端。安装客户端详细操作请参考安装Flume客户端。 已安装Flume客户端场景 在客户端flume-check.properties文件中配置client.per-check.shell，指向plugin.sh的绝对路径。 例如Flume客户端安装路径为“/o
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
