检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下,普通用户无法登录Spark客户端 安装使用集群外客户端时,连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表,未插入数据前,查询表统计信息为空
在场景示例中可查看本服务更详细的场景SDK使用方法。 图3 场景示例 SDK列表 表1提供了MRS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 SDK中心地址 参考文档 Java huaweicloud-sdk-java-v3
定“LOCAL”时,这里的路径指的是当前连接的“HiveServer”的本地文件系统的路径,同时由于当前的“HiveServer”是集群式部署的,客户端在连接时是随机连接所有“HiveServer”中的一个,需要注意当前连接的“HiveServer”的本地文件系统中是否存在需要加
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示
框可根据关键字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志,日志中主要字段含义如下: result:策略校验结果,0表示拒绝,1表示允许。
等缩容成功后,若不想用Core节点的NodeManager再将其停止。 建议与总结 Core节点的NodeManager通常不会将其停止,建议不要随意变更集群部署结构。 父主题: 集群管理类
无法对服务提供管理功能。 可能原因 omm用户过期。 处理步骤 检查系统中omm用户是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l omm命令来查看当前omm用户密码设置信息。 查找“Account expires”对应值,查看用户设置是否过期。
lickHouse业务。 可能原因 omm密码过期。 处理步骤 检查系统中omm密码是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l omm命令来查看当前omm用户密码设置信息。 查找“Password expires”对应值,查看密码设置是否过期。
功能。 可能原因 该主机ommdba密码过期。 处理步骤 检查系统中ommdba密码是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令来查看当前ommdba用户密码设置信息。 查找“Password
计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题,提出MemArts分布式客户端缓存,MemArts部署在计算侧的VM中,通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1 MemArtsCC结构图说明 名称
访问。 可能原因 该主机ommdba用户过期。 处理步骤 检查系统中ommdba用户是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令查看当前ommdba用户密码设置信息。 查找“Account ex
实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证,执行kinit hd
态,后续即使被加入黑名单的节点恢复,App1也无法得到资源。 由于上述原则不适用于资源池场景,所以目前可通过调整客户端参数(路径为“客户端安装路径/Yarn/config/yarn-site.xml”)“yarn.resourcemanager.am-scheduling.nod
态,后续即使被加入黑名单的节点恢复,App1也无法得到资源。 由于上述原则不适用于资源池场景,所以目前可通过调整客户端参数(路径为“客户端安装路径/Yarn/config/yarn-site.xml”)“yarn.resourcemanager.am-scheduling.nod
在客户端执行如下命令: source /opt/client/bigdata_env kinit 组件用户 说明:“/opt/client”需要改为实际客户端的安装路径。 执行如下命令,让主NameNode进入安全模式,其中linux22换为主NameNode的主机名。 hdfs dfsadmin -fs
可能原因 该主机ommdba密码即将过期。 处理步骤 检查系统中ommdba密码是否即将过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令来查看当前ommdba用户密码设置信息。 查找“Password
可能原因 Tez或者Spark在HDFS上库路径被删除。 处理步骤 检查Tez和Spark库路径。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/
将步骤2中的jar包下载到本地。 将下载的jar包替换到本地JDK目录/opt/Bigdata/jdk/jre/lib/security。 执行cd 客户端安装目录/HBase/hbase/bin命令,进入到HBase的bin目录。 执行sh start-hbase.sh命令,重启HBase组件。
管理功能。 可能原因 该主机omm用户即将过期。 处理步骤 检查系统中omm用户是否即将过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l omm命令来查看当前omm用户密码设置信息。 查找“Account expires”对应值,查看用户设置是否即将过期。