检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 初始化环境变量。
操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。
选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MRS集群操作HBase。
配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
检查并更新metastroe中分区数组,它支持3种模式: ADD:将文件系统中存在但metastore里没有的分区系统同步到metastroe中。 DROP:drop元数据表中存在但文件系统中不存在的分区。 FULL:同时进行ADD和DROP操作。
告警解释 系统每30秒为周期检查Flink作业CheckPoint完成时间是否超过阈值(默认值:600秒),如果超过阈值则产生告警。作业CheckPoint完成时间小于或等于阈值,告警恢复。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
原因分析 在HDFS长时间运行场景下,操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。
/folder2</name> <value>hdfs://NS2/folder2</value> </property> Hive和Spark中的配置 fs.defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。
/folder2</name> <value>hdfs://NS2/folder2</value> </property> Hive和Spark中的配置 fs.defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。
MetaStore动态分区数超出阈值导致SQL报错 现象描述 执行SparkSQL或HiveSQL命令时,系统报错如下: Number of dynamic partitions created is 2001, which is more than 2000.
“hdfs://hacluster”为HBase使用的文件系统名,“/hbase”为HBase在文件系统上的根目录,可登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中分别搜索“fs.defaultFS”和“hbase.data.rootdir
用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。
运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
取值范围: 不涉及 RootVolumeType String 参数解释: 节点系统盘的类型。 取值范围: 不涉及 RootVolumeResourceSpecCode String 参数解释: 节点系统盘产品规格。
取值范围: 不涉及 RootVolumeType String 参数解释: 节点系统盘的类型。 取值范围: 不涉及 RootVolumeResourceSpecCode String 参数解释: 节点系统盘产品规格。