-
MRS 1.5.1.4补丁说明 - MapReduce服务 MRS
动被停掉。 优化了当carbon表的segments很多时,执行delete语句慢的问题。 长时间运行的spark作业,执行spark SQL时出现GSS initiate failed错误。 carbon表执行select操作时,报carbonindex文件找不到的错误。 ca
-
HDFS HTTP REST API接口介绍 - MapReduce服务 MRS
和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的,要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP: curl -i -X PUT --negotiate -u: "
-
初始化HDFS - MapReduce服务 MRS
onfig\hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user
-
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 - MapReduce服务 MRS
river端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
-
写入OpenTSDB数据 - MapReduce服务 MRS
return gson.toJson(dataPoints); } PUT_URL中加入了sync参数,表示必须等到数据写入HBase后才可以返回,强烈建议使用此参数;如果不使用sync,表示采用异步写入HBase的方式,可能存在丢失数据的风险。具体信息请参考OpenTSDB应用开发常见问题。
-
MRS 1.9.3 Ranger证书如何更新? - MapReduce服务 MRS
搜索并修改配置项policymgr_https_keystore_password值为3中输入的证书密码,即“${输入证书密码}”。 可以使用复制粘贴,此处密码不一致,将会导致Ranger组件重启失败。 保存配置,并滚动重启RangerAdmin。 确认RangerAdmin
-
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 - MapReduce服务 MRS
river端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
-
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 - MapReduce服务 MRS
river端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
-
ALM-45644 RocksDB的Level0层SST文件数持续超过阈值 - MapReduce服务 MRS
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行12。 否,执行13。 单击失败作业application
-
提交Storm拓扑后Worker日志为空 - MapReduce服务 MRS
yaml”文件、“log4j”和“slf4j-log4j”相关的Jar包。 使用IntelliJ IDEA远程提交新打包的Jar包。 查看是否可以在WebUI查看拓扑的详细信息和Worker日志内容。 在Manager页面修改Storm集群关于Worker启动超时参数(参数说明请参考参考信息),保存并重启Storm服务。
-
ALM-14011 DataNode数据目录配置不合理 - MapReduce服务 MRS
使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。 是,执行24。 否,执行13。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警“ALM-12017
-
Kafka日志介绍 - MapReduce服务 MRS
-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。 controller
-
Hive日志介绍 - MapReduce服务 MRS
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志
-
Hive日志介绍 - MapReduce服务 MRS
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志
-
HDFS日志介绍 - MapReduce服务 MRS
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<proc
-
HBase日志介绍 - MapReduce服务 MRS
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HBase日志列表 日志类型 日志文件名 描述 运行日志 hbase-<SSH_USER>-<proc
-
获取MRS应用开发样例工程 - MapReduce服务 MRS
ngs.xml”文件,覆盖至“<本地Maven安装目录>/conf/settings.xml”文件即可。 如果不想覆盖Maven配置文件,可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom.xml”文件,配置镜像仓地址。 配置方法一:修改“settings
-
HDFS日志介绍 - MapReduce服务 MRS
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<proc
-
Spark从Hive读取数据再写入HBase样例程序开发思路 - MapReduce服务 MRS
create table table2 ( key string, cid string ) using org.apache.spark.sql.hbase.HBaseSource options( hbaseTableName "table2", keyCols "key", colsMapping
-
创建Hive角色 - MapReduce服务 MRS
用户组添加Hive相应权限的用户组并选择主组,绑定新创建的角色,单击“确定”完成Hive用户创建。 待用户生成后,即可使用该用户执行相应SQL语句。 父主题: Hive用户权限管理