检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SlapdServer连接数超过阈值 告警解释 系统每30秒周期性检查SlapdServer节点的进程连接数,并把实际进程连接数和阈值相比较,当进程连接数连续多次(默认值为5)超过设定阈值(默认值为1000)时,系统将产生此告警。 平滑次数可配置,当平滑次数为1,进程连接数小于或等于阈值
开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。 表1 对接参数 参数 示例 参数说明 版本 V3 SNMP协议版本号,取值范围: V2C:低版本,安全性较低。
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群
hive_sync.jdbcurl 连接hive jdbc指定的连接。 "" hoodie.datasource.hive_sync.use_jdbc 是否使用hive jdbc方式连接hive同步hudi表信息。建议该值设置为false,设置为false后 jdbc连接相关配置无效。 true hoodie
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
写入操作配置 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一:(import场景)使用sqoop import命令抽取开源postgre到MRS hdfs或hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop
DBService状态正常,组件无法连接DBService 问题背景与现象 上层组件连接DBService失败,检查DBService组件状态正常,两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。 在D
ALM-12190 Knox连接数超过阈值 告警解释 系统周期性检测Knox所有拓扑的连接数情况,当存在拓扑的当前连接数超过最大连接数的阈值(默认为90%)时上报此告警,当连接数低于阈值后,告警自动清除。 该告警适用于MRS 3.1.0及之后版本集群。 告警属性 告警ID 告警级别
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。单位:毫秒 600000 空闲连接的保留时间,连接空闲时间大于此时间,则会销毁该连接,有需要时重新创建连接。 request.timeout.ms 消费请求的超时时间。单位:毫秒。 30000
Shell客户端连接提示“authentication failed” 问题现象 安全集群中,HiveServer服务正常的情况下,Shell客户端中执行beeline命令失败,界面提示“authentication failed”,如下: Debug is true storeKey
说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。单位:毫秒 600000 空闲连接的保留时间,连接空闲时间大于此时间,则会销毁该连接,有需要时重新创建连接。 request.timeout.ms 消费请求的超时时间。单位:毫秒。 30000
大量进程连接到ZooKeeper,导致ZooKeeper连接数被占满,无法对外正常提供服务,导致上游组件(例如Yarn、Flink、Spark等)服务异常。 可能原因 客户端大量进程连接到ZooKeeper,或者自定义阈值设置不合理。 处理步骤 检查客户端是否存在大量进程连接ZooKeeper的情况
proxy_connect_timeout 定义与代理服务器建立tcp连接的超时时间。使用数字和单位组合,m表示分钟,s表示秒。 默认值:3m 取值范围:1-60m或1-3600s proxy_timeout 与代理服务器的tcp连接上两次连续读取或写入操作之间的超时。如果在此时间内没有数据传输,则连接关闭。使用数字和单位组合,m表示分钟,s表示秒。
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
efaults.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数:"-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户,不支持修改。 用户认证 配置跨Manager
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
默认情况下,系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中,可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。