检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题: 组件介绍
18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
target_table_path 本批次数据保存的Hudi表路径 total_num 本批次数据总数 cdl_original_heartbeat 本批次数据中包含的心跳数据的最大时间, 如果本批次不包含心跳数据则值为空 cdl_last_heartbeat 本批次数据中包含的心跳数据的最小时间,如果本批次不包
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase,在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
FE中和BE交互的线程池中正在排队的任务数超过阈值 告警解释 系统每30秒周期性检查FE中和BE交互的线程池中正在排队的任务数,当检查到该值超出阈值(默认值为10)时产生该告警。该线程池为FE端ThriftServer的工作线程池,对应“fe.conf”文件中的“rpc_port”,用于和BE进行交互。
表列名”时,默认该表的所有列或者是“SQL语句”配置项里配置的查询条件中指明的列。 配置的输入字段个数不能大于实际指定的列数,否则全部数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以sqlserver 2014为例,创建测试表test: create
配置WebUI上显示的Lost Executor信息的个数 配置场景 Spark WebUI中“Executor”页面支持展示Lost Executor的信息,对于JDBCServer长任务来说,Executor的动态回收是常态,Lost Executor个数太多,会撑爆“Exe
最大重试次数。用于表示所有可重试操作所支持的最大重试次数。 35 这两个参数的重试超时的配合方式如图1所示。 图1 HBase客户端操作重试超时流程 从该流程可以看出,如果未对这两个配置参数根据具体使用场景进行配置,会造成挂起迹象。建议根据使用场景,配置合适的超时时间,如果是长时间操作,则把
在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
互信。 备集群上的时间必须与主集群一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。 根
ALM-50211 BE的各种定期汇报任务在FE端的队列长度超过阈值 告警解释 系统每30秒周期性检查BE的各种定期汇报任务在FE端的队列长度,当检查到该值超出阈值(默认值为10)时产生该告警。该值反映了汇报任务在Master FE节点上的阻塞程度,数值越大,表示FE处理能力不足。
单击“确定”。 在“主机”勾选7查看到的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息
下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警
SQL Join需在指定的窗口范围内进行。对窗口范围内的数据进行连接,需要至少一个相等连接谓词和一个绑定双方时间的条件。这个条件可以由两个适当的范围谓词(<、<=、>=、>),一个BETWEEN谓词或者一个单一的相等谓词来定义。这个相等谓词主要是比较两个输入表的同类型时间属性(比如处理时间或者事件时间)。
> 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能造成主机上业务无法发起对外建立连接,业务中断。
为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
BulkLoad导入数据成功,执行相同的查询时却返回不同的结果 问题 在使用HBase bulkload导入数据时,如果导入的数据存在相同的rowkey值,数据可以导入成功,但是执行相同的查询时可能返回不同的结果。 回答 正常情况下,相同rowkey值的数据加载到HBase是有先后顺序的,HBase以最