检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-26052 Storm服务可用Supervisor数量小于阈值(2.x及以前版本) 告警解释 系统每60秒周期性检测Supervisor数量,并把实际Supervisor数量和阈值相比较。当检测到Supervisor数量低于阈值时产生该告警。 用户可通过“系统设置 > 阈值配置”修改阈值。
参数取值范围为0~1,表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G,该值设置为0.9,则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G,如果参数设置为0,则表示不限制,那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。
定位信息 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 单个CCWorker进程的内存使用超过最大限制内存后可能会出现进程重启,短暂影响缓存命中率。 可能原因 上层计算服务(Spark/Hive/HetuE
将用户添加到白名单,需要重启Kafka服务,这样会中断服务导致业务受影响,因此如果要采用这种方式,必须和业务侧确认后才能进行。 在FusionInsight Manager首页,选择“集群 > 待操作的集群名称 > 服务 > Kafka > 配置 > 全部配置 > Broker(角色) > 服务”,将该用户添加到“max
告警属性 告警ID 告警级别 是否自动清除 26052 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat
ALM-12188 diskmgt磁盘监控服务不可用 告警解释 NodeAgent每隔5分钟检测diskmgt磁盘监控服务状态,当diskmgt磁盘监控服务不可用时产生此告警。 diskmgt磁盘监控服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 12188
2M。并且建议“-XX:MaxDirectMemorySize”值不小于512M。 选择“更多 > 重启服务”重启服务。 在Hive服务重启期间,正在重启的实例无法对外提供服务,且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息。
添加租户目录: 在“HDFS 存储”表格,单击“添加目录”。 父目录:选择一个父租户的存储目录。 如果当前租户不是子租户则不显示此参数。如果父租户有多个目录,请选择其中任何一个。 路径:填写租户目录的路径。 如果当前租户不是子租户,新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户,新路径将在指定的目录下创建。
次关联操作无效。 为已有的租户关联ClickHouse服务 在FusionInsight Manager页面,选择“租户资源”,选中需要操作的租户,选择“服务关联”页签,单击“关联服务”,具体参数如下表所示: 参数 描述 服务 选择“ClickHouse” 关联类型 选择“共享”
Browsers > Metastore Tables”,进入“Metastore Manager”。 “Metastore Manager”支持以下功能: 使用文件创建一个Hive表 手动创建一个Hive表 查看Hive表元数据 使用文件创建一个Hive表 访问“Metastore Man
即使主tablet出现故障,也可以通过只读的副tablet提供读取服务。 支持结构化数据模型。 通过结合所有以上属性,Kudu的目标是支持在当前Hadoop存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用。 同时支持大量历史数据查询和细粒度查询的时序应用。
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个Region计费不相同。包括:
在筛选条件中选择“产品类型 > MapReduce服务 MRS”,输入2查询到的集群节点ID,单击图标即可搜索该资源的服务管理费用。 图2 查看指定资源ID的MRS集群服务管理费 查看指定资源ID的IaaS基础设施资源费用(弹性云服务器、云硬盘) 在筛选条件中选择“资源ID”,分别输入3查询到的系
组件介绍 Alluxio CarbonData ClickHouse CDL DBService Doris Flink Flume Guardian HBase HDFS HetuEngine Hive Hudi Hue Iceberg Impala IoTDB Kafka KafkaManager
java:3805) HDFS客户端调用close关闭文件,NameNode收到客户端的close请求之后就会检查最后一个块的完成状态,只有当有足够的DataNode上报了块完成才可用关闭文件,检查块完成的状态是通过checkFileProgress函数检查的,打印如下: 2015-05-27
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect