检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS是否支持变更MRS集群节点？ MRS管理控制台不支持变更集群节点，也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统，以及修改ECS规格的操作，可能影响集群稳定运行。 如果您对MR
合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、
MRS服务如何对接云日志服务？ 前提条件 已获取账号AK和SK，详情请参考：如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent，详情请参考：安装ICAgent（华为云主机）。 首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。 创建主机组
通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况： 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注，可以去分析SQL语句是否有进一步优化的余地。 有个别节点资源占用比较高
源队列如何查看？ 问： 产生“ALM-18022 Yarn队列资源不足”告警时，正在运行的资源队列可以在哪查看？ 答： Yarn资源队列可以登录Manager界面，选择“集群 > 服务 > Yarn > ResourceManager(主)”，登录Yarn的原生页面进行查看。 具
Join时需要注意小表不能过大，如果小表将内存基本用尽，会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件： join的两张表都很大，内存中无法存放。 两张表都按照join
when子句的view视图或子查询，不应嵌套超过3层，避免出现嵌套过深导致Impala内存溢出 case when子句包含多个判断分支，在多层view视图或子查询嵌套场景下，复杂度呈指数增长，通过实测该场景下嵌套层数不能超过3层，否则会出现内存溢出。可使用临时表替代view或子查询，将一个多重嵌套拆分成多个查询执行。
文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图，请单击“查看”，界面将显示用户自定义时间范围内选定指标的分布曲线图。 用户需要了解服务和主机关键监控指标中最高、最低或平均监控数据形成的曲线，即资源分布情况时，可以在MRS Manager上查看，支持查询1小时以内的监控数据。
如何提高Presto资源使用率？ 问题现象 节点资源利用不均衡，执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例： 登录Manager页面，选择“集群 > 服务 > Presto > 实例”，查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
如果用户需要在统一的运维网管平台查看集群的告警、监控数据，管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情，以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数 参数 描述 默认值 GC_OPTS
取值范围 描述 备注 服务级别内存资源限额 0~1 表示当前ClickHouseServer在服务器上可用内存的比例。 如服务器物理内存为10G，该值设置为0.9，则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G 租户级别内存资源限制 0%~100% 表
磁盘 主机磁盘写速率 主机磁盘已使用大小 主机磁盘未使用大小 主机磁盘读速率 主机磁盘使用率 内存 未使用内存 缓存内存大小 内核缓存的内存总量 共享内存大小 主机内存使用率 已使用内存 网络写信息 主机网络写包数 主机网络写包错误数 主机网络发送速率 主机网络写包丢包数 CPU
出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数 参数 描述 默认值 GC_OPTS
日志路径为 /var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-主机名.log），看是否有OutOfMemory内存溢出的打印。 被其他进程终止，或者人为终止。 排查DataNode运行日志（/var/log/Bigdata/hdfs/dn/
资源使用（按任务） 任务使用的CPU核数和内存。 可选择“按内存”或“按CPU”观察。 资源使用（按租户） 租户所使用的CPU核数和内存。 可选择“按内存”或“按CPU”观察。 资源使用比例（按租户） 租户所使用的CPU核数和内存的比例。 可选择“按内存”或“按CPU”观察。 任务耗时排序
方案中，每个节点有足够的32个CPU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。
portion”） 内存分配比例：写、读、模型、空闲。 MRS 3.2.0版本：4:3:1:2 MRS 3.3.0及之后版本：3:3:1:1:2 可根据负载适当调整内存。 写入内存越大，对写入吞吐和单个查询越好。 查询内存越大，支持的并发查询越多。 元数据内存越大，就不容易出现“IoTDB
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
