检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”,
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后,MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令,查看各个节点的hostname值,根
通过Hive beeline命令行执行插入命令的时候报错 问题现象 在MRS Hive的beeline中执行insert into插入语句时系统报以下错误: Mapping run in Tez on Hive transactional table fails when data
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中
19018 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值,如果该告警长期存在,表示该
系统每60秒周期性检测Kafka服务默认用户,当检测到该用户异常时发送此告警。 平滑次数为1,当用户状态恢复后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38007 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
告警属性 告警ID 告警级别 是否自动清除 23003 次要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务ID 执行失败的Loader任务的ID。 任务名 执行失败的任务名称。
是否自动清除 45433 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 对系统的影响 ClickHouse服务当前的部署不具备跨AZ高可用能力。 可能原因 开启跨AZ高可用之后,同一个shard的所有副本节点在一个AZ内。
2.0-LTS.1.9补丁会提示需要用户输入root密码或者密钥。 否,需要先安装MRS 3.2.0-LTS.1.8补丁,安装完需要重启相关服务,具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 问: 购买MRS集群时,为什么找不到HDFS、Yarn、MapReduce组件? 答: HDFS、Yarn和MapReduce组件包含在Hadoop组件中,当购买MRS集群时无法看到HDFS、Yarn和M
MRS集群用户绑定多个队列时系统如何选择队列? 问: MRS集群内属于同一个用户组,并且权限也相同的两个用户A和B,同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列,用户B的任务却一直提交到queueB队列? 答: MRS集群内用户绑
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入,log读取时需要按主键合并,并且是行存的,导致log读取效率比parquet低很多。为了解决log读取的性能问题,Hudi通过compaction将log压缩成parquet文件,大幅提升读取性能。 规则
FlinkSQL ClickHouse表开发规则 提前在ClickHouse中创建表 Flink作业在ClickHouse中找不到对应表会报错,所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作,Flink无法对
ardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
ClickHouse物化视图概述 由于TTL规则不会从原始表中同步到物化视图表,因此源表中带有TTL规则时,物化视图表同样需要配置TTL规则,并且建议与源表保持一致。 表1 普通物化视图与projection对比 物化视图类型 原表数据与物化视图一致性 灵活性 物化视图开发及维护复杂度
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程: