检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有
Flink异步Checkpoint Java样例代码 代码样例 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 快照数据 该数据在算子制作快照时，用于保存到目前为止算子记录的数据条数。 1 2 3 4 5 6 7 8 9 10 11 12
Flume日志采集概述 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
CDL数据集成概述 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL服务包含了两个重要
ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效，关键日志如下： [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
Flume日志采集概述 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
ALM-12180 磁盘卡IO（2.x及以前版本） 告警解释 MRS 2.x及以前版本： 对于HDD盘，满足以下任意条件时触发告警： 系统在30s内，每3秒采集一次数据，连续10周期，svctm时延超过6秒。 系统在30s内，每3秒采集一次数据，连续10周期，磁盘队列深度（avgqu-sz）>
端口：ResourceManager的HTTP端口。可登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.port”参数值获取。 输入 无 输出 JSON Response： {
端口：ResourceManager的HTTPS端口。可登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.https.port”参数值获取。 输入 无 输出 JSON Response：
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-
无法访问MRS集群Manager页面如何处理？ 问题现象 MRS集群创建完成后，无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态：Manager页面无法正常访问，请首先确认MRS集群状态是否正常，如果集群已关闭或者正在创建中，或集群正在发生主备倒换，将无法访问Manager。
ALM-14006 HDFS文件数超过阈值 告警解释 系统每30秒周期性检测HDFS文件数，并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 平滑次数为1，HDFS文件数指标的值小于或等于阈值时，告警恢复；平滑次数大于1，HDFS文件数指标的值小于或等于阈值的90%时，告警恢复。
ALM-12007 进程故障 告警解释 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。 当进程连接正常时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
安装MRS 3.x之前版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。
ALM-12180 磁盘卡IO 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本： 对于HDD盘，满足以下任意条件时触发告警： 系统默认每3秒采集一次数据，在30秒内至少7个采集周期的svctm时延达到6秒。 系统默认每3秒采
Flink Join样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入kafka-clients-*.jar，该jar包可在client目录下获取。
集群生命周期管理 MRS支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
