检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
de运行30分钟或者HDFS操作100万次，均会执行checkpoint。 dfs.namenode.checkpoint.period：checkpoint周期，默认1800s。 dfs.namenode.checkpoint.txns：执行指定操作次数后执行checkpoint，默认1000000。
name" and "hive.metastore.warehouse.dir" do not conflict. 原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。
调用创建集群接口：POST /v1.1/{project_id}/run-job-flow返回500。 原因分析 用户没有创建集群的权限。 处理步骤 检查是否拥有创建MRS集群的权限，可参考文档权限管理。 父主题： API使用类
“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前，未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令，设置环境变量。 执行hdfs命令即可成功使用HDFS客户端。
并且按照指导处理以后，运行一段时间又会出现同样的告警。 原因分析 可能存在JobHistory内存泄露问题，需要安装相应的补丁修复。 处理步骤 适当调大JobHistory进程堆内存。 如果已经调大堆内存，可以通过重启JobHistory实例规避。 父主题： 使用Spark
MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS 2.1.0版本，请如需使用Mav
WebUI页面偶现失败，报错“重定向次数过多”，此时其他组件的WebUI能正常访问。 原因分析 Knox为双活组件，运行过程中出现主备之间数据不同步问题导致。 处理步骤 任意通过其他组件页面跳转对应WebUI页面，等待跳转成功。 然后重新访问HDFS WebUI页面。 父主题： 访问MRS组件Web UI界面常见异常问题
仅job配置“job.properties”与工作流配置“workflow.xml”需根据实际情况设置。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。 父主题： 通过Java API提交Oozie作业
查看HiveServer日志“/var/log/Bigdata/hive/hiveserver/hive.log”，发现目录名不符合分区格式。 处理步骤 方法一：删除错误的文件或目录。 方法二：执行set hive.msck.path.validation=skip;，跳过无效的目录。 父主题：
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
/opt/knox/bin/gateway.sh stop sh /opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题： 性能优化类
此，这个方法不建议使用。 写入失败的数据要做相应的处理 在写数据的过程中，如果进程异常或一些其它的短暂的异常，可能会导致一些写入操作失败。因此，对于操作的数据，需要将其记录下来。在集群恢复正常后，重新将其写入到HBase数据表中。 另外，有一点需要注意：HBase Client返
shell访问HBase，发现访问HBase非常慢。 原因分析 安全集群需要进行Kerberos认证，需要在客户端节点的hosts中配置信息，访问速度才不会受到影响。 处理步骤 将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。 父主题： 集群管理类
security.SecurityUtil.buildDTServiceName不支持在uri中填写多个alluxiomaster的地址。 处理步骤 使用alluxio:///或者alluxio://<主AlluxioMaster的ip或hostname>:19998/进行访问。 父主题：
别赋予了不同的MRS默认策略，由于权限是优先匹配低权限策略，该策略缺少“mrs:cluster:create”权限，导致无法提交创建集群的操作，从而接口返回401错误码。 将该用户从低权限策略对应的用户组移除后，重新购买集群成功。 父主题： 集群创建类
打开或关闭Independent属性，根据提示输入密码，单击“确认”完成身份验证。 身份验证通过后，等待修改OMS配置完成，单击“完成”结束操作。 关闭Independent属性功能后： 已拥有这个属性的业务用户可以在右上角用户名下取消Independent属性，取消后无法重新设置
样的，只是job配置“job.properties”与工作流配置文件“workflow.xml”不一样。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。 父主题： 通过Java API提交Oozie作业
是一样的，只是job配置“job.properties”与工作流配置“workflow.xml”不一样。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。 父主题： 通过Java API提交Oozie作业
原因分析 当前登录的用户没有访问Manager的权限。 “/srv/BigData/dbdata_om”所在的分区磁盘空间被占满。 处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面，检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。
exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic.partitions”参数值范围内。 执行set hive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
