检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
YARN资源池的所有节点都被加入黑名单,任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单,而YARN却没有释放黑名单,导致任务一直处于运行状态? 回答 在YARN中,当一个APP的节点被AM(ApplicationMaster)加入黑名单的数量达到一定比例
ALM-25005 Nscd服务异常 告警解释 系统每60秒周期性检测nscd服务的状态,如果连续4次(3分钟)查询不到nscd进程或者无法获取LdapServer中的用户时,产生该告警。 当进程恢复且可以获取LdapServer中的用户时,告警恢复。 告警属性 告警ID 告警级别
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中,本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志,针对不同的场景,可以使用以下命令获取需要的日志:
导入并配置HBase样例工程 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟。MRS集群的时间可通过MRS Manager页面右上角查看。 图1 MRS集群的时间 操作步骤 参考获取MRS应用开发样例工程获取HBase示例工程。 在HBase示例工程根目录,即HBase样例工程的“pom
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败? 回答 通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源(如CPU核数、内存总量)不一样,而NodeManager可用硬件资源设置为相同的值,可能造成性能浪费或状态异常,需要修改各个NodeManager角色实例的配置,使硬件资源得到充分利用。
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败? 回答 通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中
RegionServer实例异常,处于Restoring状态 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看异常的RegionServer实例的运行日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中,本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志,针对不同的场景,可以使用以下命令获取需要的日志:
自定义Hive表行分隔符 操作场景 通常情况下,Hive以文本文件存储的表会以回车作为其行分隔符,即在查询过程中,以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式,而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hi
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit
Spark从HBase读取数据再写入HBase样例程序开发思路 场景说明 假定HBase的table1表存储用户当天消费的金额信息,table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100,表示用户1在当天消费金额为100元。 table2表有记录key=1
导入并配置IoTDB样例工程 背景信息 获取IoTDB开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程,可根据实际业务场景选择对应的样例,相
基于Python的Hive样例程序 功能介绍 本章节介绍如何使用Python连接Hive执行数据分析任务。 样例代码 使用Python方式提交数据分析任务,参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
准备Presto JDBC应用开发环境 为了运行Presto组件的JDBC接口样例代码,需要完成下面的操作。此处以在Windows环境下开发JDBC方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。 在Presto示例工程根目录,执行mvn
Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控
新增作业 场景描述 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
Doris数据导入规范 该章节主要介绍Doris数据导入规范。 Doris数据导入建议 禁止高频执行update、delete或truncate操作,推荐几分钟执行一次,使用delete必须设置分区或主键列条件。 禁止使用INSERT INTO tbl1 VALUES (“1”)
使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 问题 为什么在使用OfflineMetaRepair工具重新构建元数据后,HMaster启动的时候会等待namespace表分配超时,最后启动失败? 且HMaster将输出下列FATAL消息表示中止: