检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd
执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginning”,则会读取所有Kafka中未被自动删除的消息。 Kafka角色实例所在节点IP地址,填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Ker
/etc/fstab命令编辑文件,将包含“DirName”的行删除。 联系硬件工程师插入全新磁盘,具体操作请参考对应型号的硬件产品文档,如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘的大小),检查磁盘是否已经挂载在目录“DirName”上。
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“MemArtsCC”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
连接到HiveServer的session数占最大允许数的百分比超过阈值 告警解释 系统每30秒周期性检测连接到HiveServer的Session数占HiveServer允许的最大session数的百分比,该指标可通过“集群 > 待操作集群的名称 > 服务 > Hive > 实例 > 具体的Hiv
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase,在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 已检测到JobServer任务队列中存在过多任务数(详细的任务队列使用情况,请参考本告警的附加信息字段),将导致如下影响: 当J
产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Write P95耗时持续超过阈值,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致查询或写入延迟。 可能原因
如果待创建的表有一个常用于过滤的列 ,例如80%以上的场景使用此列过滤。 针对此类场景,调优方法如下: 将常用于过滤的列放在sort_columns第一列。 例如,msname作为过滤条件在查询中使用的最多,则将其放在第一列。创建表的命令如下,其中采用msname作为过滤条件的查询性能将会很好。
是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase存在损坏的StoreFile文件,可能会导致位于该文件上的数据丢失,业务查询数据可能出现不一致。 可能原因
QAS磁盘使用率小于或等于阈值的80%时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 Trigger Condition 产生告警的具体原因。 对系统的影响 组件可以向对应的ZooKeeper顶层目录中写入大量数据,导致依赖顶层目录的上游组件(例如Yarn、Fl
集群基本信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群状态信息。 付费类型 显示创建集群时的付费类型,目前支持“按需计费”和“包年/包月”。 集群版本 集群的版本信息。 集群类型 创建集群时的集群类型。 集群ID 集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。
Join数据倾斜问题。执行任务的时候,任务进度长时间维持在99%,这种现象叫数据倾斜。 数据倾斜是经常存在的,因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大,导致大部分Reduce都已完成任务,但少量Reduce任务还没完成的情况。 解决数据倾斜的问题,可通过设置“set
checkpoint.interval 垃圾检查点间的间隔。单位:分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,
华为云EI企业智能 华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自各服务的技术牛人,为您解决技术难题。
安装补丁过程包括组件重启,支持滚动重启和离线重启,请选择合适的方法,重启过程不能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程
> 日志 > 下载”。 在“服务”中勾选待操作集群的“DBService”和“NodeAgent”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值,会影响IndexServer2x进程运行的性能,甚至造