检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上,只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。
查看MRS集群静态资源 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。
您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台,用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。
登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证,防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。
开源组件结构复杂,安装、配置、管理过程费时费力,使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能,您能快速掌握服务及主机的运行状态。 提供图形化的指标监控及定制,您能及时的获取系统的关键信息。 提供服务属性的配置功能,满足您实际业务的性能需求。
检查范围包含Manager、服务级别和主机级别的健康检查: Manager关注集群统一管理平台是否提供正常管理功能。 服务级别关注组件是否能够提供正常的服务。 主机级别关注主机的一系列指标是否正常。
MRS将集群消息发送至您有权限发布消息的主题,然后所有订阅了该主题的订阅者(可以是手机短信、邮箱等)都将收到集群变更以及组件告警的消息。 图1 实现过程 父主题: 产品功能
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 NodeAgent代理进程异常,无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成,则组件业务无法保证正常。 可能原因 网络断连、硬件故障或操作系统执行命令缓慢。
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。
选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。 单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。
如果集群启用了安全服务,在连接ZooKeeper时需要进行身份认证,认证方式有以下两种: keytab方式:需要从MRS集群管理员处获取一个“人机”用户,用于登录MRS平台并通过认证,并且获取到该用户的keytab文件。
配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.trash.interval 以分钟为单位的垃圾回收时间,垃圾站中数据超过此时间,会被删除。取值范围:1440~259200。
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS
您可以在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“总览”页面设置“可用额度预警”功能,当可用额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时充值使可用额度大于0。
、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。
无 spark.gluten.sql.columnar.libpath Native加速库的服务端路径,非镜像场景时该文件并不存在,设置为空。