检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统，具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse、ZooKeeper 实时分析集群 实时分析集群使用Hadoop、Kafka、Fli
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业，同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密，所有的加解密操作都在OBS完成，同时密钥管理在DEW服务。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Broker实例扩容后长时间未完成分区均衡操作，导致Kafka服务长时间处于分区不均衡状态，可能会影响业务读写流量性能降低。 可能原因 迁移的分区数据量过大，限流参数设置的太小。 处理步骤 登录KafkaUI页面。 使用具有KafkaUI页面访问权限的用户，登录FusionInsight
合理请求等功能，减少过载场景下对HBase服务的影响，保障服务稳定性。 该章节仅适用于MRS 3.3.0及之后版本。 流量突增过载场景调优 当业务侧突然出现流量峰值，例如，请求量暴涨10倍等场景，可执行以下操作进行调整： 登录FusionInsight Manager，选择“集群
数据块来降低总体读取时间。 适应网络变化：在网络条件不稳定或部分节点出现性能问题时，提高客户端的读取效率。 对系统的影响 多路读会增加网络流量和CPU使用率，由于需要处理更多的连接和请求，需要根据现网硬件及作业情况实际调整。例如：默认三副本的情况下启用多路读，组件内存至少需要设置为已有的三倍。
k(Used|Total)”和“Memory(Used|Total)”。 在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标，包括在不同时段的时间窗口内，Broker节点平均每秒流入消息条数， 每秒流入消息字节数， 每秒流出消息字节数，每秒失败的请求数，每秒总的请求数和每秒生产的请求数。
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。 Flink WebUI特点 Flink
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每
ALM-17007 Oozie进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测Oozie进程的垃圾回收（GC）占用时间，当检测到Oozie进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID
作，可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处： 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况，依赖于具体的Connector，以及Connector相关的底层数据源或存储系统。
过滤行转换 概述 “过滤行转换”算子，用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入：用来做过滤条件的字段 输出：无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND
过滤行转换 概述 “过滤行转换”算子，用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入：用来做过滤条件的字段 输出：无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND
ALM-12062 OMS参数配置同集群规模不匹配 告警解释 系统每一个小时，整点检查一次OMS参数配置和集群规模是否匹配，如果检查OMS配置的参数不足以支撑当前的集群规模，系统将发送此告警。待用户修改OMS参数配置，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除
ClickHouse提供了基于Loadbalance部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。客户端应用请求集群时，使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。
ClickHouse提供了基于Loadbalance部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。客户端应用请求集群时，使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。
发行版本 版本概述 版本说明
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran
准备本地应用开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1
运行HadoopStream作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
