检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打开配置文件“${BIGDATA_HOME}/FusionInsight_Current/*HiveServer/etc/hivemetastore-site.xml”，查找配置项“javax.jdo.option.ConnectionURL”，复制配置项值。 登录Manager页面，选择“集群 > 服务 > Hive
密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。 检查本告警是否恢复。 是，处理完毕。 否，执行4。 查看NameNode JVM内存使用情况和当前配置。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务
处理Zookeeper异常 登录FusionInsight Manager，选择“运维 > 告警 > 告警”，进入ZooKeeper服务概览页面，查看ZooKeeper服务是否故障。 是，执行2。 否，执行4。 根据ZooKeeper出现的相关报错信息和告警信息，参考对应的ZooKeep
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况，可能会长期积累导致磁盘空间告警，因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServ
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
务量大小设置对应的句柄数，建议不要给太小的值。如果用户需要对HBase和HDFS操作，建议设置较大的值，例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name ulimit -n 界面会返回此用户的句柄数限制值。如下所示： 8194 父主题： 使用HDFS
原因分析 用户使用的JDK中的jar包与MRS服务认证的jar包版本不一致。 处理步骤 以root用户登录集群Master1节点。 执行如下命令，查看MRS服务认证的jar包。 ll /opt/share/local_policy/local_policy.jar ll /opt/Big
“现有集群” ，单击集群名称进入集群详情页面。 在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 单击“组件管理”，查看各服务的角色操作状态，如果存在“未启动”的角色，单击“更多 > 启动实例”，启动该实例。 如果启动失败，根据任务列表里中任务的报错信息进行修复再尝试重启。
在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark WebUI查看运行情况，或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
AM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
务量大小设置对应的句柄数，建议不要给太小的值。如果用户需要对HBase和HDFS操作，建议设置较大的值，例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name ulimit -n 界面会返回此用户的句柄数限制值。如下所示： 8194 父主题： 使用HDFS
处理步骤 修改用户密码。 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中展开此告警的详细信息，查看并记录附加信息中即将过期的用户名称。 修改即将过期的用户密码。 如果对接了DataArts Studio服务，请检查DataArts St
平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 >
Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
e WebUI后的链接，进入到HDFS的WebUI界面，选择“Utilities > Browse the file system”，即可查看Hudi表。 “.hoodie”文件夹中存放了对应的文件合并操作相关的日志文件。 包含_partition_key相关的路径是实际的数据文件和metadata，按分区存储。
在搜索框中搜索“dfs.single.replication.enable”，修改配置项的值为“false”，单击“保存”。 等待大概10分钟时间，查看当前告警是否恢复。 是，操作结束。 否，执行4。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 >
Trash/Current/user/hive/tezlib/8.1.0.1/tez.tar.gz /user/hive/tezlib/8.1.0.1/tez.tar.gz 查看本告警是否恢复。 是，操作结束。 否，执行5。 收集故障信息。 收集客户端后台“/.Trash/Current/”目录下内容的相关信息。
使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort -n |uniq -c |sort -n 执行后结果如下： 查看启动线程数最多的进程，案例中进程2346为NameNode进程，启动了5.4万线程，且持续增长。 多次打印对应进程的jstack日志，根据
对系统的影响 通信闪断，业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
