检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力，可以自动在业务在繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需使用，尽可能的帮助客户降低使用成本，聚焦核心业务。 在大数据应用，尤其是周期性的数据分析处理场景中，需要根据业务数据的周期
> 连接数 > 已经连接到Impalad进程的JDBC数量” ，检查设置的阈值大小。 检查连接到当前Impalad的JDBC应用数，并关闭闲置的应用，观察告警是否自动清除。 是，操作结束。 否，执行3，修改并发客户端连接数。 在FusionInsight Manager首页，选择“集群
Impala > 连接数 > 已经连接到Impalad进程的ODBC数量”，检查阈值大小。 检查连接到当前Impalad进程的ODBC应用数，并关闭闲置的应用，观察告警是否自动清除。 是，处理完毕。 否，执行3，修改并发Impalad支持的并发连接数。 在FusionInsight Manager首页，选择“集群
告警解释 MonitorServer每隔一个小时，检查当前MonitorServer证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24013 重要 是 告警参数 参数名称
本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前Flume证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24010 重要 是 告警参数 参数名称
别成本偏高的资源，然后采取针对性的优化措施。 监控资源利用率，评估当前配置是否过高。例如：CPU、内存、云硬盘、带宽等资源的利用率。 监控闲置的资源，避免浪费。例如：未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求，为每一类业务确定合适的计费模式，灵活组合以达到最优效果。
很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统
很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统
很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统
很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统
很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统
Manager首页，选择“运维 > 告警 > 告警 > ALM-24011 Flume证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su - omm切换用户。 执行以下命令进入Flume服务证书目录。
Manager首页，选择“运维 > 告警 > 告警 > ALM-24012 Flume证书文件已过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su - omm切换用户。 执行以下命令进入Flume服务证书目录。
主机网络写包丢包数 CPU 改变过优先级的进程占CPU的百分比 用户空间占用CPU百分比 内核空间占用CPU百分比 主机CPU使用率 CPU总时间 CPU闲置时间 主机状态 主机文件句柄使用率 每1分钟系统平均负载 每5分钟系统平均负载 每15分钟系统平均负载 主机PID使用率 单击“趋势”查看趋势信息。
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用
mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议p = (dataSize)/128M
mor表： 由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议 p = （dataSize）/128M
MRS支持自动弹性伸缩，相对自建Hadoop集群的使用成本更低。 MRS可以按业务峰谷，自动弹性伸缩，在业务繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需使用，帮助用户节省大数据平台闲时资源，尽可能的帮助用户降低使用成本，聚焦核心业务。 在大数据应用，尤其是周期性的数据分析处
ALM-45655 Flink HA证书文件已过期 > 定位信息”，查看告警上报的主机名，单击“主机”，查看主机名对应的IP地址。 检查系统中合法HA证书文件的有效期，重新生成HA证书文件。 以omm用户登录告警所在节点主机。 执行命令cd ${BIGDATA_HOME}/Fusio
c底层）向Kerberos服务获取应用服务端的ST（Server Ticket）。 Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
