检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit。 与HTTP服务访问相比，以HTTPS方式访问Mapreduce时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持，可对应修改
AUTHORIZATION”区域的组件插件名称“OBS”，单击“Add New Policy”，为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限，详细操作请参见添加OBS的Ranger访问权限策略。 例如，为“hgroup1”用户组赋予“obs://obs-test/test/”
hacluster目录下已经有active的节点，所以也无法升主，导致两个节点都为备。 解决方法 建议通过在FusionInsight Manager界面上重启HDFS的两个ZKFC加以解决。 父主题： HDFS常见问题
不一致？ SparkStreaming作业运行后报OBS访问403如何处理？ Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ Spark作业访问OBS报错“requestId=XXX”如何处理？ Sp
Join数据优化 操作场景 使用Join语句时，如果数据量大，可能造成命令执行速度和查询速度慢，此时可进行Join优化。 Join优化可分为以下方式： Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map Join
务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件，可以采用重启集群或者重启组件方式。 方式一（推荐）：重启集群，建议在业务空闲时间重启。
JRE错误 IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-be
ase的数据目录下，如$rootDir/data/$nameSpace/$tableName/$tableName，那样创建表就会失败。 解决办法： 出现该问题时，请检查该表对应的HBase数据目录是否存在，如果存在请将该目录重命名。 HBase数据目录由$rootDir/dat
经常面临向HBase中导入大量数据的情景，向HBase中批量加载数据的方式有很多种，最直接方式是调用HBase的API使用put方法插入数据；另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都不是很高，因为HBase频繁进行flush、compact、s
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
以在Windows环境下开发JDBC方式连接Doris服务的应用程序为例。 需在本地环境变量中设置环境变量DORIS_MY_USER和DORIS_MY_PASSWORD，建议密文存放，使用时解密，确保安全。其中： DORIS_MY_USER为访问Doris的用户名。 DORIS_M
1800s。 dfs.namenode.checkpoint.txns：执行指定操作次数后执行checkpoint，默认1000000。 解决办法 在重启前，主动执行异常checkpoint合并主NameNode的元数据。 停止业务。 获取主NameNode的主机名。 在客户端执行如下命令：
KafkaNew.Consumer$ConsumerThread.run(Consumer.java:40) 可能原因 客户端和服务端Jar版本不一致。 解决办法 修改Consumer应用程序中Kafka jar，确保和服务端保持一致。 父主题： 使用Kafka
name=default.t1]] (state=42000,code=40000) 原因分析 创建的新用户没有Hive组件的操作权限。 解决方案 MRS Manager界面操作： 登录MRS Manager页面，选择“系统配置 > 角色管理 > 添加角色”。 输入角色名称。 在
on中合并多个小文件来减少输出文件数及执行重命名文件操作的时间，从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题，对于以下场景仍然需要较多时间： 对于动态分区表，如果其分区数非常多，那么也需要执行较长的时间。 父主题： Spark SQL性能调优
ontainer临时目录，当container退出时，由container自动清理该目录，因此yarn-cluster模式不存在此问题。 解决措施 可在Linux下设置/tmp临时目录自动清理，或修改客户端中spark-defaults.conf配置文件的spark.local.
hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 解决办法 将DataNode选择磁盘策略的参数dfs.datanode.fsdataset.volume.choosing.policy的值改为：org
自动加载该配置文件，此时就会有新的线程自动产生，长时间后就会触发该告警。 出现这种情况时，将内置机制关闭，禁止自动修改日志级别即可恢复。 解决办法 分别登录到集群主备NameNode节点，执行以下命令备份脚本。 cd $BIGDATA_HOME/FusionInsight_Cur
如果启动失败，根据任务列表里中任务的报错信息进行修复再尝试重启。 如果异常角色较多，可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决，请联系技术服务协助处理。 也可通过集群Manager页面进行启动实例操作，具体请参考实例管理概述。 父主题： 集群管理类
hacluster目录下已经有active的节点，所以也无法升主，导致两个节点都为备。 解决方法 建议通过在FusionInsight Manager界面上重启HDFS的两个ZKFC加以解决。 父主题： HDFS常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
