检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新作业,已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例,服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下: 集群中的NodeMana
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS write接口调用失败数高于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。
务端,默认的用户名为“default”。 该操作指导ClickHouse集群创建成功后,设置ClickHouse的用户名密码。 本章节适用于MRS 3.1.2版本。 “default”为ClickHouse默认系统用户,仅普通模式(未开启kerberos认证)下可使用的ClickHouse管理员用户。
复集群,就需要将节点切回到原来的VPC,并且IP和hosts文件中的IP主机映射一一对应。 处理步骤 登录集群Master1节点,执行ifconfig查看到切换后的VPC。 执行命令cat /etc/hosts,查看host文件中记录切换VPC之前的IP。 登录MRS管理控制台,
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响JDBCServer2x进程运行的性能,甚至造成
安装补丁前提条件 集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS
13 以上表格中加粗的版本为现网全网开放的主力版本,其他版本为受限白名单方式开放,需联系技术支持申请白名单开通。 补充说明: 由于历史版本的EOS时间较早, 已经EOS的版本将提供过渡期服务支持截止至2024年8月30日,即在2024年8月30日之后EOS的版本停止提供服务。 版本EOX后的建议策略
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致PolicySync响应缓慢。 可能原因
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode进程的垃圾回收时间过长,可能影响该Na
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足,会造成内存溢出导致Broker实例崩溃,影响该Broker正常提供读写服务。
群方式部署,如果对外直接提供服务,将暴露多个节点服务,没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickhouseDataSource的驱动方案,可以支持多节点的随机分配,提供了一定程度的负载均衡能力,但其故障检测能力不足,而且在扩缩容时,需要客户端感知集群节点变化,易用性不佳。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 FGC时间超出阈值,会影响到数据的读写。 可能原因 该节点实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。
Spark的表管理层次如图1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表,在这一个层面中没有数据库的概念,因此对于这种类型表,表名在各个数据库中都是可见的。 上层为Hive的MetaStore,该层有了各个DB之分。在每个DB中,又有Hive的临时表与
指定导出数据的分隔符,与需要导出的HDFS中的数据表中的分隔符保持一致。 -m或-num-mappers <n> 启动n个map来并行导入数据,默认是4个,该值请勿高于集群的最大Map数。 -direct 快速模式,利用了数据库的导入工具,如MySQL的mysqlimport,可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值,会影响JDBCServer2x进程运行的性能,甚至造成
拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
批量删除Loader作业 操作场景 Loader支持批量删除已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待删除作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Man
如果集群内节点时间不正确,请分别登录集群内时间不正确的节点,并从2开始执行。 如果集群内节点与集群外节点时间不同步,请登录集群外节点,并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip
问题背景与现象 查看备份文件路径中没有DBService的备份文件。 ls /srv/BigData/LocalBackup/default_20190720222358/ -rlth 图1 查看备份文件 原因分析 查看DBService的备份日志/var/log/Bigdata/dbs
安装补丁前提条件 集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS