检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://archive.apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效,对应模块功能受限,无法正常使用。 可能原因 系统未导入证书(CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等)、导入证书失败、证书文件失效。
ResourceManager进程的垃圾回收时间过长,可能影响该ResourceManager进程正常提供服务。 可能原因 该节点ResourceManager实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 >
动重启服务不断服。 MRS 2.1.0.7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
目前MRS商用收费基本要素为集群中的弹性云服务器。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 计费类型下方显示购买的集群启动成功的时间,即计费开始时间。 创建时间 集群节点创建成功时间。仅“历史集群”会显示此参数。
value):ShenZhen、Longgang 用户可以执行以下数据操作: 获取每天的监控数据,通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发,需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能
bigdata_env。如果集群采用安全版本,要进行安全认证,执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。如果集群采用非安全版本,需使用omm用户登录并执行命令,请确保omm用户具有客户端执行权限。 执行hdfs dfsadmin -safemode leave。 在“运维
keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
该用户属于hive、hadoop、supergroup组,主组为hive,角色绑定sparkstatic1。 配置Spark SQL防御使用约束 防御规则默认动态生效时间为6分钟。 仅支持SQL类型作业。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 静态规则s
xml”、“hdfs-site.xml”。获取Yarn客户端配置文件(下载路径/Yarn/config)中的“core-site.xml”。 用于替换原有代码的中的使用的配置文件。 分别在HDFS和Yarn的“core-site.xml”文件中增加访问OBS的信息,具体如下: <property> <name>fs
缩成功/失败的场景下,由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异
动重启服务不断服。 MRS 2.1.0.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
在。 iotdb/iotdbserver 存放IoTDB服务的业务数据。 doris/be 存放Doris数据库数据。 元数据分区目录最多使用4块磁盘(data1~data4),各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/d
ALM-12180 磁盘卡IO 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本: 对于HDD盘,满足以下任意条件时触发告警: 系统默认每3秒采集一次数据,在30秒内至少7个采集周期的svctm时延达到6秒。 系统默认每3秒采
参数解释: 数据连接状态。 约束限制: 不涉及 取值范围: -1:已删除 0:正常 -2:异常 1:使用中 默认取值: 不涉及 used_clusters String 参数解释: 使用集群。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 encrypt_type Integer
Master节点数量大于等于3个,小于等于11个。 节点组数量总和小于等于10个,非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。 如节点数量满足需求,建议将数据节点单独部署。 Mas
服务配置”,修改RangerAdmin配置。 搜索并修改配置项policymgr_https_keystore_password值为3中输入的证书密码,即输入的证书密码。 可以使用复制粘贴,此处密码不一致,将会导致Ranger组件重启失败。 保存配置,并滚动重启RangerAdmin。 确认RangerAdmin Web
公网备用IP地址。用于集群外访问集群备master进程所使用的IP地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 internalIp String 参数解释: 内网IP地址。用于集群内访问集群master进程所使用IP的地址。 约束限制: 不涉及 取值范围: 不涉及
参数解释: CPU使用率。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 memory_usage String 参数解释: 内存使用率。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 disk_usage String 参数解释: 硬盘使用率。 约束限制:
keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。