检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群，具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickH
ALTER SCHEMA 语法 ALTER (DATABASE|SCHEMA) schema_name SET LOCATION hdfs_location ALTER (DATABASE|SCHEMA) database_name SET OWNER USER username
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
Kafka Broker上报进程异常，日志提示“IllegalArgumentException” 问题背景与现象 使用Manager提示进程故障告警，查看告警进程为Kafka Broker。 可能原因 Broker配置异常。 原因分析 在Manager页面，在告警页面得到主机信息。
Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题： 使用Flume
Spark连接其他服务认证问题 问题现象 Spark连接HBase，报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1：HBase没有获取到当前任务的认证信息，导致连接HBase的时候认证失败，无法读取到相应数据。 问题2：Spar
None 功能介绍 MapReduce服务 MRS 服务介绍 04:08 MapReduce服务介绍 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍
使用HetuEngine HetuEngine交互查询引擎概述 HetuEngine用户权限管理 快速使用HetuEngine访问Hive数据源 创建HetuEngine计算实例 添加HetuEngine数据源 配置HetuEngine物化视图 配置HetuEngine SQL诊断功能
存算分离常见问题 运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager（2.x及之前版本） MRS集群Core节点扩容成功后状态异常如何处理
Kafka业务规格说明 本章节内容适用于MRS 3.x及后续版本。 支持的Topic上限 支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka
Kafka业务规格说明 本章节内容适用于MRS 3.x及后续版本。 支持的Topic上限 支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka
ALM-18012 上个周期被终止的Yarn任务数超过阈值（2.x及以前版本） 告警解释 上个10min的周期内，发生被终止的YARN任务数超过阈值。该告警每10min检测一次，如果上个10min周期内，发生YARN任务被终止的数量大于设定的阈值时，会发生该告警。如果在下个10m
Flume正常连接Kafka后发送消息失败 问题现象 使用MRS版本安装集群，主要安装ZooKeeper、Flume、Kafka。 在使用Flume向Kafka发送数据功能时，发现Flume发送数据到Kafka失败。 可能原因 Kafka服务异常。 Flume连接Kafka地址错误，导致发送失败。
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中，如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源，会使得后提交的Job一直处于等待状态，直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许
使用Storm Storm WebUI页面中events超链接地址无效 提交Storm拓扑失败排查思路 提交Storm拓扑失败，提示Failed to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常，日志提示Failed
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中，具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常，但是切换至bdpuser用户创建Fllink集群时，执行yarn-session
配置Flink作业状态后端冷热数据分离存储 本章节适用于MRS 3.3.0及以后版本。 在宽表关联计算场景中，每张表字段较多，导致状态后端数据量较大，严重影响状态后端性能时，可开启状态后端冷热分级存储功能。 开启状态后端冷热分级存储功能步骤 安装包含Flink、HBase等服务的
Oozie Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console仅提供对
创建FlinkServer作业写入数据至Hive表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 目前FlinkServer对接Hive使用对接metaStore的方式，所以需要Hive开启MetaStore功能。Hive可以作为sink和维表。 本示例以安全模式Kafka为例。
计费模式概述 MRS当前支持包年/包月和按需计费模式，以满足不同场景下的用户需求。 包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为1年。 按需计费：节点按实际使用时长计费，计费周期为一小时。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
