检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka是一个分布式的消息发布-订阅系统。 它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 支持online和offline场景
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 支持online和offline场景
MRS集群如何解绑已绑定至Manager的EIP？ 如何关闭MRS集群内节点的防火墙服务？ MRS集群内节点的登录方式如何切换？ 如何通过集群外的节点访问MRS集群？ MRS集群中Kafka Topic监控是否支持发送告警？ 产生Yarn队列资源不足告警时正在运行的资源队列如何查看？ HBase操作请求次数指标中的多级图表统计如何理解？
长整型时间转换 概述 “长整型时间转换”算子，用于配置长整型数值与日期的转换。 输入与输出 输入：需要转换的字段 输出：转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型： long to date：长整型数值转换为DATE类型。
部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager（仅适用于MRS 3.x及之后版本）确认集群的主备管理节点（即主备OMS节点）。 在主备模式下，由于Master1和Master2之间会进行主备切换，Master1节点不一定是主管理节点。 通过执行脚本确定主备管理节点
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台，购买RDS实例，具体操作请参考购买实例。
IoTDB应用开发规则 设置合理数量的存储组 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件（夹）导致频繁切换IO降低系统速度（并且会占用大量内存且出现频繁的内存-文件切换），也不会因为过少的存储文件夹（降低了并发度从而）导致写入命令阻塞。 应根据自己的数据
层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 商用 Alluxio简介 3 MRS支持Tez组件 Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。如果
产生告警的租户名称。 目录名 产生告警的目录名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当监控的租户目录下的文件对象使用率超过用户自定义设置的阈值时触发该告警，但不影响对该目录继续写入文件。一旦超过该目录分配的最大文件对象个数，则HDFS写入数据会失败。
配置消息通知后，可以实时给用户发送MRS集群健康状态，用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实时监控大数据集群，通过告警和事件可以识别系统
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 MRS服
MRS可以做什么？ 问： MapReduce Service（MRS）可以做什么？ 答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数
x B x C > D ，HDFS总存储空间可在HDFS NameNode页面查看，Hive已经使用HDFS的空间大小可在Hive的监控界面查看监控指标“Hive已经使用的HDFS空间大小”。 检查该告警是否恢复。 是，操作结束。 否，执行3。 对系统进行扩容。 对系统进行扩容。
执行MRS集群健康检查 集群健康检查包含检查对象的“健康状态”、相关的告警和自定义的监控指标等三项检查项，但检查结果不能等同于界面上显示的“健康状态”。检查范围包含Manager、服务级别和主机级别的健康检查： Manager关注集群统一管理平台是否提供正常管理功能。 服务级别关注组件是否能够提供正常的服务。
时长计费。 关于两种计费模式的详细介绍请参见计费模式概述。 在购买MRS集群后，如果发现当前计费模式无法满足业务需求，您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用（弹性云服务器，云硬盘）组成。如需
解决扩容失败HOSTS_OS_PATCH_STATE表IP残留导致后续扩容失败的问题。 解决CES监控和Yarn上监控对不上的问题。 解决OMS频繁主备倒换的问题。 解决查看指定时间段内主机资源概况，监控数据为空，查看失败的问题。 解决磁盘监控指标计算不正确的问题。 大数据组件 解决Yarn的ResourceManager频繁主备倒换的问题
执行kill -9 {pid}，其中{pid}为上一步中查询到的进程号。 等待进程自动重启，可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动，如果可以查到结果说明进程启动成功。 为各组件添加或修改配置项，配置项的值与超时时间一致，单位为秒。
长整型时间转换 概述 “长整型时间转换”算子，用于配置长整型数值与日期的转换。 输入与输出 输入：需要转换的字段 输出：转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型： long to date：长整型数值转换为DATE类型。
EL操作转换 概述 “EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
行成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“过滤行转换”算子，过滤掉含有test的行。 转换后，输入原字段，结果如下： 父主题： 转换算子
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
