检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下：
Doris数据分析 导出Doris数据至HDFS 导出Doris查询结果集 父主题： 使用Doris
CarbonData数据分析 新建CarbonData表 删除CarbonData表 修改CarbonData表 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题： 使用CarbonData
nTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点： 采集指标在某一时间点具有唯一值，没有复杂的结构及关系。 监控的指标具有随着时间不断变化的特点。 具有HBase的高吞吐，良好的伸缩性等特点。
MRS的自动弹性伸缩可以帮助用户实现以下价值。 降低使用成本 部分企业并不是时刻都在进行批量分析，例如一般情况下数据持续接入，而到了特定时间段（例如凌晨3点）进行批量分析，可能仅需要消耗2小时。 MRS提供的弹性伸缩能力，可以帮助用户在进行批量分析操作时，将分析节点扩容到指定规模，而计算完毕后，则自动释放计算节点，尽可能的降低使用成本。
快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行的任务继续执行
产品功能 作业管理 元数据管理 企业项目管理 多租户资源管理 组件WebUI便捷访问 节点自定义引导操作 集群管理 集群运维 集群状态消息通知 MRS安全增强 MRS可靠性增强
事件全景数据监控，提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监控指标推送至AOM服务，用户可以方便查看监控指标相关信息。 本示例提供通过FlinkResource、FlinkServer和客户端三种方式对接AOM服务，将Flink监控指标上传至AOM服务。
配置HetuEngine SQL诊断功能 HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力： 自
登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面，例如： 图3 Kafka集群监控 图4 Topic监控 图5 Consumer监控 Kafka Eagle对接常见问题 问题现象： 无法获取Kafka CPU与内存监控信息日志提示。 java.io
DefaultMetricsConsumer：表示不收集OBS监控指标 要使用OBS监控功能，需确保上报OBS监控指标开关打开。 org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider 父主题： 使用Spark/Spark2x
闲时资源，尽可能的帮助用户降低使用成本，聚焦核心业务。 在大数据应用，尤其是周期性的数据分析处理场景中，需要根据业务数据的周期变化，动态调整集群计算资源以满足业务需要。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。此外，如果数据量为周期有规律的变化，并且希望在数据量
这部分历史数据体量非常大，比如订单数据或者监控数据，如果降低这部分数据的存储成本将会极大的节省企业的成本。 HBase支持冷热分离功能，将数据分类存储在不同介质上，即冷数据存储在OBS，热数据存储在HDFS中，能有效降低存储成本。 该功能仅MRS 3.3.0及之后版本支持。 OB
产生告警的集群或者系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 监控指标上报CES失败，在CES中无法看到MRS云服务的监控指标。 可能原因 权限问题请求CES接口失败。 网络问题上报CES数据失败。 服务内部问题导致上报CES数据失败。
MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，使大数据业务部署更加省心省力。 特性描述 MRS联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，
快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生
系统每30秒周期性检测每个HBase服务实例中每个RegionServer的Region数。该指标可以在HBase服务监控界面和RegionServer角色监控界面查看，当检测到某个RegionServer上的Region数超出阈值（默认连续20次超过默认阈值2000）时产生该告警。用户可通过“运维
zie工作流的查看和监控功能。通过Oozie对外提REST方式的WS接口，Oozie client通过该接口控制（启动、停止等操作）Workflow流程，从而编排、运行Hadoop MapReduce任务，如图1所示。 图1 Oozie框架 图1中各部分的功能说明如表1所示。 表1
2x、Kafka组件的MRS集群。 步骤2：准备应用程序：准备用于进行分析的源数据及程序。 步骤3：上传jar包及源数据：将相关程序和数据上传至MRS集群内。 步骤4：运行作业并查看结果：运行程序并查看数据分析结果。 步骤1：创建MRS集群 创建并购买一个包含有Spark2x、K
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
