检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
中”和“准备中”状态外的所有集群。 history：查询历史集群列表，包括所有“已删除”、删除集群失败、集群删除虚拟机失败、删除集群更新数据库失败等状态的集群。 starting：查询启动中的集群列表。 running：查询运行中的集群列表。 terminated：查询已删除的集群列表。
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本，部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件，用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端，例如客户端安装目录为“/opt/client”。 如果集群
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，
如何开发Flume第三方插件 安装Flume客户端，如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下，使用以下命令建立目录，可根据实际业务进行命名，无固定名称：
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端，如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性
数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaS
ALM-45445 ClickHouse写入分布式表时发送数据文件到远端分片失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 ClickHouse实例分布式表检查模块300秒检查一次，如果连续失败的次数超过配置的阈值，则触发上报告警，此时ClickHouse写入分布式
FlinkSQL行级过滤 本章节适用于MRS 3.3.1及以后版本。 使用场景 使用FlinkSQL时支持设置行级别过滤条件，可以使指定用户只能访问授权过的行，隐藏未授权的行数据。 前提条件 集群已启用Kerberos认证（安全模式），已安装Ranger、Hive、Flink等服务且服务运行正常。
HDFS应用开发规则 HDFS NameNode元数据存储路径 NameNode元数据信息的默认存储路径为“${BIGDATA_DATA_HOME}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1
ALM-45440 ClickHouse副本间不一致 告警解释 当ClickHouse副本数大于1时，系统周期性对复制表进行检查，若数据不同步，则发送告警。副本间所有复制表数据同步后，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45440 次要 是 告警参数 参数名称
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
