-
如何提高集群Core节点的资源使用率? - MapReduce服务 MRS
如何提高集群Core节点的资源使用率? 进入 Yarn服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理
-
配置HDFS客户端元数据缓存提高读取性能 - MapReduce服务 MRS
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 操作步骤 设置参数的路径:
-
配置HDFS客户端元数据缓存提高读取性能 - MapReduce服务 MRS
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS
-
IoTDB性能调优 - MapReduce服务 MRS
IoTDB性能调优 配置场景 IoTDB主要利用堆内存完成读写操作。提高IoTDB内存可以有效提高IoTDB读写性能。 配置描述 登录集群FusionInsight Manager页面,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,进入IoTDB配置界面搜索并修改参数。
-
提升HBase实时读数据效率 - MapReduce服务 MRS
集群服务配置参数章节。 表1 影响实时读数据配置项 配置参数 描述 默认值 GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议
-
提升HBase实时读数据效率 - MapReduce服务 MRS
集群服务配置参数章节。 表1 影响实时读数据配置项 配置参数 描述 默认值 GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议
-
购买方式简介 - MapReduce服务 MRS
快速购买Hadoop分析集群:快速购买Hadoop分析集群为您提高了配置效率,可以在几分钟之内快速创建Hadoop集群,更加方便快捷的进行海量数据分析与查询。 快速购买HBase查询集群:快速购买HBase查询集群为您提高了配置效率,可以在几分钟之内快速创建HBase集群,更加方便快捷的进行海量数据存储以及分布式计算。
-
自定义Flink log4j日志输出级别不生效 - MapReduce服务 MRS
12.0版本开始默认的日志框架是log4j2,配置的方式跟之前log4j的方式有区别,使用如log4j日志规则不会生效。 处理步骤 Log4j2详细日志规格配置参考开源官方文档:http://logging.apache.org/log4j/2.x/manual/configuration
-
使用Jupyter Notebook对接MRS Spark - MapReduce服务 MRS
Notebook对接MRS Spark Jupyter对接方案概述 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。 具体流程如下:
-
分配机架 - MapReduce服务 MRS
器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求: 为了提高通信速率,希望不同主机之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力,分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。
-
修改admin密码 - MapReduce服务 MRS
“admin”是FusionInsight Manager的系统管理员账号,建议用户通过FusionInsight Manager定期修改密码,提高系统安全性。 操作步骤 登录FusionInsight Manager。 需使用“admin”登录。 移动鼠标到界面右上角的“Hello,
-
通过Slow Start调优MapReduce任务 - MapReduce服务 MRS
时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:某集群可启动10个Map任务,MapReduce作业共15个Map任务,那么在一轮Map任务执行完成
-
通过Slow Start调优MapReduce任务 - MapReduce服务 MRS
时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:某集群可启动10个Map任务,MapReduce作业共15个Map任务,那么在一轮Map任务执行完成
-
CarbonData调优思路 - MapReduce服务 MRS
引,这有助于减少需要被扫描的查询block的数量。设置较大的block容量,可提高I/O效率,但是会降低全局索引效率;设置较小的block容量,意味着更多的block数量,会降低I/O效率,但是会提高全局索引效率,同时,对于索引查询会要求更多的内存。 扫描线程数量:扫描仪(Sca
-
HBase应用开发常用概念 - MapReduce服务 MRS
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client
-
CarbonData调优思路 - MapReduce服务 MRS
引,这有助于减少需要被扫描的查询block的数量。设置较大的block容量,可提高I/O效率,但是会降低全局索引效率;设置较小的block容量,意味着更多的block数量,会降低I/O效率,但是会提高全局索引效率,同时,对于索引查询会要求更多的内存。 扫描线程数量:扫描仪(Sca
-
HBase应用开发常用概念 - MapReduce服务 MRS
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件
-
HBase应用开发常用概念 - MapReduce服务 MRS
HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java
-
PMS进程占用内存高 - MapReduce服务 MRS
-c命令查询得内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存:除了常见的执行计划缓存、数据缓存,PostgreSQL为了提高生成执行计划的效率,还提供了catalog,relation等缓存机制。长连接场景下这些缓存中的某些缓存是不会主动释放的,因此可能导致长连接占用大量的内存不释放。
-
ALTER TABLE COMPACTION - MapReduce服务 MRS
TABLE COMPACTION 命令功能 ALTER TABLE COMPACTION命令将合并指定数量的segment为一个segment。这将提高该表的查询性能。 命令格式 ALTER TABLE[db_name.]table_name COMPACT 'MINOR/MAJOR/SEGMENT_INDEX';