检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行balance常见问题定位方法 问题1:报没权限(Access denied)执行balance 问题详细:执行start-balancer.sh,“hadoop-root-balancer-主机名.out”日志显示“Access denied for user test1.
acl表目录丢失导致HBase启动失败 问题背景与现象 集群HBase启动失败 原因分析 查看HBase的HMaster日志,报如下错误: 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证,执行如下命令。
MRS集群是否支持Hive on Spark? 问: MRS集群是否支持Hive on Spark? 答: MRS 1.9.x版本集群支持Hive on Spark。 MRS 3.x及之后版本的集群支持Hive on Spark。 其他版本可使用Hive on Tez替代。 父主题:
OpenTSDB是否支持Python的接口? 问: OpenTSDB是否支持Python的接口? 答: OpenTSDB基于HTTP提供了访问其的RESTful接口,而RESTful接口本身具有语言无关性的特点,凡是支持HTTP请求的语言都可以对接OpenTSDB,所以OpenTSDB支持Python的接口。
概述 “算子帮助”章节适用于MRS 3.x及后续版本。 转换流程 Loader读取源端数据,通过输入算子将数据按规则逐一转换成字段,再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。
用户将Core节点的NodeManager服务停止了,导致在检查Task节点退服过程中发现Task如果全部退订,则将没有NodeManager,则Yarn服务就不可用,而MRS判断剩余的NodeManager必须大于等于1才能退服Task节点。 处理步骤 进入Yarn服务实例页面: MRS 3.x
gcInterval=0x7FFFFFFFFFFFFFE。 解决办法 针对memstore、cache修改配置参数后,重启HBase服务成功。 针对GC_OPTS配置错误,修改参数后重启HBase服务成功。 父主题: 使用HBase
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
-fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。 重新启动HBase服务。 父主题: 使用HBase
Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时,HDFS就作为Flume的最终数据存储系统,Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景:从本地采集静态日志保存到HDFS和典型场景:从本地采集动态日志保存到HDFS。
Kudu支持的压缩算法有哪些? 问: Kudu支持的压缩算法有哪些? 答: Kudu目前支持的压缩算法有snappy、lz4和zlib,默认是lz4。 父主题: 组件配置类
的数据源进行查看、编辑和删除等操作。 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
通过页面更改NameNode的RPC端口,随后重启HDFS服务,出现所有NameNode一直是备状态,导致集群异常。 问题现象 所有NameNode都是备状态,导致集群异常。 原因分析 集群安装启动后,如果修改NameNode的RPC端口,则需要重新格式化Zkfc服务来更新zookeeper上的节点信息。
HDFS日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hdfs/*/hdfs-omm-*.out”日志文件过大,造成OS盘/var/log分区空间不足。 原因分析 在HDFS长时间运行场景下,操作系统会把JVM创建的“/tmp/
概览”页面已移除,可直接在“主页”界面的“更多”菜单中执行集群相关维护管理功能。 MRS 2.x及之前版本集群,单击“服务管理”,选择“更多 > 导出集群配置”即可导出集群配置至本地。 选择“更多 > 导出配置”,将集群所有服务的配置批量导出。 父主题: 管理MRS集群
MRS的Storm集群提交任务时如何指定日志路径? 问: MRS的Storm集群提交任务时如何指定日志路径? 答: 用户可以根据自己的需求,修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml
加载CarbonData表数据 操作场景 CarbonData table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数。 表1 HDFS异步删除特性配置参数 参数名称 描述 默认值 dfs.namenode
CREATE DATABASE 本章节主要介绍Doris创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] db_name [PROPERTIES ("key"="value", ...)]; 使用示例 使用具有Dor
Join-To-Live Flink双流Join需要将数据存储在状态后端,目前普遍使用Rocksdb作为状态后端。在TTL过大或无法确定TTL或数据流量增加的场景下,大流量会导致状态数据增加,增加存储压力,从而导致作业稳定性下降,或TTL过期可能出现数据关联不准确。 对于数据关联