检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-50220 TCP包接收错误的次数的比率超过阈值 告警解释 系统每30秒周期性检查TCP包接收错误的次数的比率,当检查到该值超出阈值(默认值为5%)时产生该告警。 当TCP包接收错误的次数的比率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50220
ALM-50215 FE Thrift各个方法接收的RPC请求中最长的耗时超过阈值 告警解释 系统每30秒周期性检查FE Thrift各个方法接收的RPC请求中最长的耗时,当检查到该值超出阈值(默认值为5000ms)时产生该告警。 当FE Thrift各个方法接收的RPC请求中最长的耗时低于阈值时,告警清除。
MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”,进入消息通知服务页面。
配置MRS集群对接SNMP网管平台上报告警 如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的
为什么CDL任务执行后Hudi中没有接收到数据 现象描述 抓取数据到Hudi中的CDL任务运行后,Kafka中有相关数据,Spark的RDD处理中无记录,Hudi中没有相关数据,并且Yarn日志报错:TopicAuthorizationException: No authorized
集群查看,就可以及时地收到告警通知。MRS联合消息通知服务(SMN),可以将以上信息主动地通知到用户的手机及邮箱,让维护更加省心省力。 客户价值 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助
Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,产生该告警。 当Controller可以正常接收时,告警恢复。 MRS 3.3.0及之后版本,该告警名称变更为“NodeAgent进程异常”。
ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能: 帮助系统避免单点故障,建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种角色:Le
以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。 数据在平台内各个组件间的流向,比如使用什么组件采集数据,采集
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后,才能实现以下场景的功能:
Topic监控是否支持发送告警? 问: 在MRS流式集群中,Kafka Topic的监控是否支持发送告警? 答: 暂不支持Kafka Topic监控发送邮件和短信告警,用户可以在集群Manager界面查看组件相关告警信息。 父主题: 集群管理类
oller连续三次未接收到某个NodeAgent的状态报告时,产生该告警。 当Controller可以正常接收时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12006 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创建topic,执行
MRS集群的节点如何安装主机安全服务? 操作场景 MRS集群中的节点可以使用主机安全服务(Host Security Service,HSS)提供的主机管理、风险预防、入侵检测等功能,识别并管理主机中的信息资产,实时监测主机中的风险并阻止非法入侵行为,帮助企业构建服务器安全体系,降低当前服务器面临的主要安全风险。
健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息通过短信或者邮件等形式推送给用户。具体介绍请参见集群状态消息通知。 补丁管理 MRS集群支持补丁操作,会及时发布开源大数据组件的补丁。用户能够在M
登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入登录密码和短信验证码,单击“确定”,下载密钥,请妥善保。 操作步骤 准备使用Spark SQL分析的数据源。 样例txt文件如下: abcd3ghji efgh658ko
ght Manager REST API的用户使用。 REST API REST API是访问Web服务器的一套API,REST API接口的执行方式是通过HTTP请求进行的,接收GET、PUT、POST、DELETE等请求并使用JSON数据进行响应。 HTTP请求的格式为:ht
0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行验证(如图2所示),避免误操作带来的风险和损失。 图2 身份验证 父主题: 安全
假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,
假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,