检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
MRS 3.x及之后版本客户端的安装请参考安装客户端(3.x及之后版本)。 如果集群外的节点已安装客户端且只需要更新客户端,请使用安装客户端的用户例如“root”。 在Core节点安装客户端 登录MRS Manager页面,选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。
告警节点的系统时间。校正告警节点的系统时间后,选择“更多 > 启动所有角色”启动告警节点的服务。 如果告警节点时间比主OMS节点NTP服务时间快,等待相应时间差,校正告警节点的系统时间。校正完成后,选择“更多 > 启动所有角色”启动告警节点的服务。 如果不做相应等待,可能造成数据丢失风险。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Spark”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 需手工清除。 参考信息
删除文件操作是单线程串行执行的,Hive分区数过多导致在元数据数据库会保存大量元数据信息,在执行删表语句时删除元数据就要用很长时间,最终在超时时间内删除不完,就会导致操作失败。 超时时间可通过登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 >全部配置 > MetaStore(角色)
弹性云服务器需要允许用户使用密码方式登录(SSH方式)。 参考访问MRS集群Manager登录集群Manager,然后选择“服务管理 > 下载客户端”。 在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为待安装客户端节点的IP地址,设置“主机端口”为“22
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight
使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。 安全模式,
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败,报错:Timed out waiting for a free available connection。 可能原因 DBService连接较多,获取连接超时。 操作步骤 客户端是否使用Spark-SQL客户端执行SQL。
主机。 最大并发数:根据界面要求设置日志收集时的最大节点并发数量。(MRS 3.3.0及之后版本支持该参数) 单击右上角的设置日志的起始收集时间“开始时间”和“结束时间”。 单击“下载”完成日志下载。 下载的日志压缩包中会包括对应开始时间和结束时间的拓扑信息,方便查看与定位。 拓
shuffle操作时SASL认证的超时时间。单位:秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位:秒。 360s
shuffle操作时SASL认证的超时时间。单位:秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位:秒。 360s
使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。 安全模式,
HDFS客户端可能会长时间无响应,无法进行下一步操作。 回答 目前出现上述问题时使用的是默认配置,如表1所示,HDFS客户端到NameNode的RPC连接存在keep alive机制,保持连接不会超时,尽力等待服务器的响应,因此导致已经连接的HDFS客户端的操作会长时间无响应。
HDFS客户端可能会长时间无响应,无法进行下一步操作。 回答 目前出现上述问题时使用的是默认配置,如表1所示,HDFS客户端到NameNode的RPC连接存在keep alive机制,保持连接不会超时,尽力等待服务器的响应,因此导致已经连接的HDFS客户端的操作会长时间无响应。
(向下取整)个节点。 批次时间间隔 10 滚动重启实例批次之间的间隔时间,默认为0。 设置批次时间间隔参数可以增加滚动重启期间大数据组件进程的稳定性。 建议设置该参数为非默认值,例如10。 退服超时时间 1800 角色实例在滚动重启过程中的退服等待时间,该参数仅在滚动重启Hive、Spark时可设置。
Flink对接Elasticsearch作业运行一段时间后Checkpoint失败 问题现象 Flink对接Elasticsearch作业,运行一段时间(TGT的有效期一般为24小时)后,写Elasticsearch失败,Checkpoint超时报错。 TGT(Ticket Granting
等。 事件列表默认按时间顺序排列,时间最近的事件显示在最前端。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manag
相关,数据量越大实行耗时越大 Checkpoint超时时长大于Checkpoint间隔时长 Checkpoint间隔时长是指多长时间触发一次Checkpoint操作,启动Checkpoint后执行时长超过Checkpoint超时时长会导致作业失败。 CDC场景下Hudi读写表需要开启Changelog