检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景: 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境,例如需安装Gradle、业务需要依赖R语言包。
系统管理员可以通过FusionInsight Manager创建恢复IoTDB任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。
如果服务出现异常状态,有可能是系统内部用户被锁定,需及时解锁,否则会影响集群正常运行。系统内部用户列表请参见MRS集群用户账号一览表。系统内部用户无法使用Manager解锁。
用户可以通过组件客户端以绝对路径方式直接访问OBS文件系统下的资源。
OS重启导致的LdapServer数据损坏。 Oldap数据量超过阈值(默认为10MB)。 处理步骤 检查LdapServer所在的节点网络是否故障。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。
ALM-25501 KerberosServer请求数高 告警解释 系统每30秒周期性检查KerberosServer节点的处理请求数,并把实际处理的请求数和阈值相比较,当请求数连续多次(默认值为5)超过设定阈值时,系统将产生此告警。
ALM-12048 网络写包错误率超过阈值 告警解释 系统每30秒周期性检测网络写包错误率,并把实际错误率和阈值(系统默认阈值0.5%)进行比较,当检测到网络写包错误率连续多次(默认值为5)超过阈值时产生该告警。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务被强制终止。 可能原因 人为强制终止大量任务。 系统出于某种错误终止任务。 处理步骤 检查告警详情。
该配置为操作系统的配置,并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。
可能原因 如果filter使用更高精度的double数据类型的数值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使小数部分不同,系统仍然会认为double数据类型的值是相同的。 定位思路 无。
查看说明:镜像中显示的EulerOS_2.10_x86_64,则代表操作系统为Linux系统版本(X86架构)、版本为EulerOS 2.10 64bit。 图2 操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。
图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。
既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度从而)导致写入命令阻塞。 应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。
系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。
低质量的SQL会对数据分析平台系统带来不可预料的冲击,影响系统的性能或者平台稳定性。 SQL防御功能仅MRS 3.3.0及之后版本集群支持。
例如,您只允许用户组A访问某一OBS文件系统中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略,并创建一个绑定该策略权限的委托。
若需要开启,请根据“检查系统环境”步骤,确认该系统是否可以开启该告警发送。 告警属性 告警ID 告警级别 是否自动清除 12045 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
ALM-12046 网络写包丢包率超过阈值 告警解释 系统每30秒周期性检测网络写包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络写包丢包率连续多次(默认值为5)超过阈值时产生该告警。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris元数据所占磁盘空间越来越大,最终可能导致服务异常。 可能原因 Doris服务异常。