检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
not quit。 解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用kill命令终止该进程(如果kill无法终止该进程,需要使用kill -9来强制终止该进程)。 重新启动HBase服务成功。 父主题:
该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置:
可能存在JobHistory内存泄露问题,需要安装相应的补丁修复。 处理步骤 适当调大JobHistory进程堆内存。 如果已经调大堆内存,可以通过重启JobHistory实例规避。 父主题: 使用Spark
该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置:
SUBDIR目录,切回Mapreduce引擎后默认不读取目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce.input.fileinputformat.input.dir.recursive=true,开启union优化,决定是否读取目录下的数据。
组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xm
组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xm
情况,Standby NameNode启动失败,MD5文件会损坏。通过移除损坏的fsimage,然后启动Standby NameNode,可以修复此问题。Standby NameNode会加载先前的fsimage并重现所有的edits。 修复步骤: 移除损坏的fsimage。 rm
这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改Yarn客户端的内存上限。例如,需要设置该内存上限为1GB,则设置:
"failedJobs" : [ ] }] } 结果分析: 通过这个命令,可以查询当前应用的所有SQL语句的信息(即结果中“sqls”的部分),执行时间最长的SQL语句的信息(即结果中“longestDurationOfCompletedSQL”的部分)。每个SQL语句的信息如下表3。
COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName 表名。 cols 待删除列,可以指定多个。 示例 ALTER TABLE table1 DROP COLUMN a.b.c ALTER TABLE table1 DROP
UBDIR目录。 切回Mapreduce引擎后默认不读取目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce.input.fileinputformat.input.dir.recursive=true,开启union优化,决定是否读取目录下的数据。
步周期所设置的时间后再尝试登录。 未开启Kerberos认证时,由于Ranger并不从Manager同步用户数据,因此,仅有admin用户可以登录Ranger,暂时不支持其他用户登录。 父主题: Ranger常见问题
信息,需要等待同步周期所设置的时间后再尝试登录。 非安全模式下,由于Ranger并不从Manager同步用户数据,因此,仅有admin用户可以登录Ranger,暂时不支持其他用户登录。 父主题: Ranger常见问题
使用admin用户登录到FusionInsight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。 使用root或omm用户登录到主OMS节点。 检查“/srv/BigData/dbdata_om”目录所在的分区是否已满。 清理冗余的数据。
DataNode增量上报太慢,NameNode无法及时分配新的Block。 出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置,例如:“dfs.client.block.write
如果当前的应用开发工程配置项中包含该配置项,则应用开发程序还需要引入Jar包“phoenix-core-*.jar”。此Jar包可以从HBase客户端安装目录下的“HBase/hbase/lib”获取。 如果不想引入该Jar包,请将应用开发工程的配置文件“hbase-site.xml”中的配置“hbase
JDK的机制不同,IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间更新,导致即使显式调用Hive relogin也无法得到刷新。 解决措施: 通常情况下,在发现Hive connection不可用的时候,可以关闭该connection,重新创建一个connection继续执行。
JDK的机制跟Oracle JDK的机制不同,IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间更新,导致即使显式调用relogin也无法得到刷新。 解决措施: 通常情况下,在发现JDBC connection不可用的时候,可以关闭该connection,重新创建一个connection继续执行。