检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以root用户登录主OMS节点,执行以下命令查看controller日志中慢盘处理超时原因,并检查是否存在明显报错信息。 vi /var/log/Bigdata/controller/controller.log 是,执行4。 否,执行3。 以root用户登录告警上报节点,执行
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令,卸载名称为“example”的UDF。 DROP FUNCTION example 父主题: 在IoTDBServer节点调测UDF应用
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令,卸载名称为“example”的UDF。 DROP FUNCTION example 父主题: 在IoTDBServer节点调测UDF应用
Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 父主题:
defaultFS)? 答: 当前不建议在服务端修改或者新增集群内HDFS NameSpace(fs.defaultFS),如果只是为了客户端更好的识别,则一般可以通过修改客户端内“core-site.xml”,“hdfs-site.xml”两个文件的相关参数进行实现。 父主题: 组件配置类
ALM-45647告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行12。 收集故障信息 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45642 RocksD
复。 是,处理完毕。 否,执行8。 在TaskManager日志检查是否Level0层SST文件数过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45644 RocksD
查看并导出健康检查报告 为了满足对健康检查结果的进一步具体分析,您可以在MRS中查看以及导出健康检查的结果。 在管理控制台查看健康检查报告 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击页面右上角“管理操作 > 查看集群健康检查报告”。
MapReduce基本原理 如需使用MapReduce,请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”及其主要思想,均取自于函数式编程语言及矢量编程语言。
堆内存无法满足当前PolicySync进程所需的堆内存,建议根据2查看“PolicySync堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“PolicySync使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。
ALM-45331 Presto Worker1线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。 告警属性 告警ID 告警级别
ALM-45332 Presto Worker2线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。 告警属性 告警ID 告警级别
Spark SQL join优化 操作场景 Spark SQL中,当对两个表进行join操作时,利用Broadcast特性(请参见使用广播变量),将小表BroadCast到各个节点上,从而转变成非shuffle操作,提高任务执行性能。 这里join操作,只指inner join。
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中,任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务(例如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即
Worker线程数超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。 告警属性 告警ID 告警级别
ALM-45333 Presto Worker3线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。 告警属性 告警ID 告警级别
REST服务同样需要进行Kerberos认证。 该场景下不需要进行初始化配置,仅需要用于Kerberos安全认证的keytab文件和krb5.conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 以下代码在hbase-rest-example样例工程的“com.huawei.bigdata
检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘IO使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 每个写操作平均所需时间”。 根据实际服务的使用情况,单击“平滑次数”后的编辑按钮,更改告警的平滑次数。
2之后版本跳过该检查) 以root用户登录备OMS数据库节点。 执行su - omm命令切换到omm用户。 执行echo ${BIGDATA_DATA_HOME}/dbdata_om命令获取OMS数据库的数据目录。 执行df -h命令,查看系统磁盘分区的使用信息。 查看OMS数据库数据目录挂载磁盘是否已满。
整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时,支持Failover或负载均衡工作模式。