检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群安装为普通模式时，各组件客户端不支持安全认证且无法使用kinit命令，所以集群外的节点默认无法使用集群中的用户，可能导致在这些节点访问某个组件服务端时用户鉴权失败。 如果需要在集群外节点以组件用户身份访问集群资源，管理员需为集群外节点设置同名用户可通过SSH协议登录节点的功能，并以登录操作系统用户身份连接集群各组件服务端。
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
相关，数据量越大实行耗时越大 Checkpoint超时时长大于Checkpoint间隔时长 Checkpoint间隔时长是指多长时间触发一次Checkpoint操作，启动Checkpoint后执行时长超过Checkpoint超时时长会导致作业失败。 CDC场景下Hudi读写表需要开启Changelog
禁止主备倒换。 卸载补丁过程会重启Controller和Tomcat，可能会引起HA主备倒换，安装前需要禁止主备倒换，主备倒换禁止有设置超时时间10分钟，超过该时间后会自动取消禁止主备倒换： su - omm -c "/opt/Bigdata/OMSV100R001C00x8664/wo
客户端安装目录/Oozie/oozie-client-*/examples/apps/subwf SSH任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/ssh 定时任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/cron
Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。
ping”设置为false时，表示连接的超时时间。 在上述问题场景下，建议配置一个较大的超时时间，避免服务繁忙时的超时，建议配置为900000，单位为ms。 60000 父主题： HDFS常见问题
ping”设置为false时，表示连接的超时时间。 在上述问题场景下，建议配置一个较大的超时时间，避免服务繁忙时的超时，建议配置为900000，单位为ms。 60000 父主题： HDFS常见问题
使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
（向下取整）个节点。 批次时间间隔 10 滚动重启实例批次之间的间隔时间，默认为0。 设置批次时间间隔参数可以增加滚动重启期间大数据组件进程的稳定性。 建议设置该参数为非默认值，例如10。 退服超时时间 1800 角色实例在滚动重启过程中的退服等待时间，该参数仅在滚动重启Hive、Spark时可设置。
Certificate”，查看“定位信息”获取告警所在节点主机名，使用PuTTY工具以omm用户登录该主机，执行4。 告警附加信息中显示“HA server Certificate”， 查看“定位信息”获取告警所在节点主机名，使用PuTTY工具以omm用户登录该主机，执行5 检查系统中合法证书文件的有效期。
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例：Maven工程打包到Linux下运行样例 执行mvn package生成j
告警节点的系统时间。校正告警节点的系统时间后，选择“更多 > 启动所有角色”启动告警节点的服务。 如果告警节点时间比主OMS节点NTP服务时间快，等待相应时间差，校正告警节点的系统时间。校正完成后，选择“更多 > 启动所有角色”启动告警节点的服务。 如果不做相应等待，可能造成数据丢失风险。
er挂载的文件目录未清除。 回答 即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager
er挂载的文件目录未清除。 回答 即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager
disconnected Writer Zookeeper”。 原因分析 在Kafka客户端连接Zookeeper客户端过程中，fsync操作时间过长，导致超时。 处理步骤 登录Zookeeper客户端所在节点。 cd 客户端安装目录 source bigdata_env kinit 组件业
shuffle操作时SASL认证的超时时间。单位：秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s
shuffle操作时SASL认证的超时时间。单位：秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s
HBase GC时间超出阈值 告警解释 系统每60秒周期性检测HBase服务的老年代GC时间，当检测到HBase服务的老年代GC时间超出阈值（默认连续3次检测超过5秒）时产生该告警。 在FusionInsight Manager首页，用户可通过选择“运维 > 告警 > 阈值设置> HBase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
