检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
X，请执行搬迁前务必确认是否支持搬迁。 方案架构 Hive数据迁移分两部分内容： Hive的元数据信息，存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService组件，也可以选择RDS（MySQL）作为外置元数据库。 Hive的业务数据，存储在HDFS文件系统或OBS对象存储中。
upervisor所在节点业务量需求，适当调整参数值，优化CPU使用率。 JVM调优 当应用程序需要处理大量数据从而占用更多的内存时，存在worker内存大于2GB的情况，推荐使用G1垃圾回收算法。 表2 调优参数 配置参数 缺省值 调优场景 WORKER_GC_OPTS -Xms1G
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 FGC时间超出阈值，会影响到数据的读写。 可能原因 该节点实例内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 用户可通过“运维> 告警 > 阈值设置 > Impala> 进程FGCT >Impalad进程FGCT（
经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会使进程处于disk sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。 结论：虚拟机内存不能满足服务需求。 处理步骤 建议扩大节点内存。 建议关闭不需要的服务。
安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”，且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”，且MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。 仅MRS 3
过高，内存使用率超过阈值的问题。通常自建大数据集群需要完成数据搬迁，采购升级节点硬件配置实现Master规格提升，而MRS服务借助云服务的优势，实现一键式Master节点升级，并在升级过程中通过Master节点的主备HA保证已有业务的不间断，方便快捷帮助用户解决主节点规格升级问题。
提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。 支持定制传输前后准备工作。Flume支持定制脚本，指定在
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 FE进程的垃圾回收时间过长，可能影响该FE进程正常提供服务。 可能原因 该FE节点实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 > 告警 >
er（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml
er（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml
使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。 执行以下命令创建数据库example_db： create database if not exists example_db; 执行以下命令查看数据库信息： SHOW DATABASES; mysql> SHOW DATABASES;
tor、mysql-fastpath-connector），专用数据库连接器特别针对具体数据库类型进行优化，相对通用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
tor、mysql-fastpath-connector），专用数据库连接器特别针对具体数据库类型进行优化，相对通用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和
Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下： 多数据源：Presto可以支持Mysql，Hive，JMX等多种Connector。 支持SQL：Presto完全支持ANSI SQL，用户可以直接使用SQL Shell进行查询。
IP2:ClickHouseBalancer端口/default', Sink表配置合适的攒批参数 攒批写参数： Flink会将数据先放入内存，到达触发条件时再flush到数据库表中。 相关配置如下： sink.buffer-flush.max-rows：攒批写ClickHouse的行数，默认100。
rmi://%s/kafka #修改kafka mysql jdbc driver address数据库相关的配置 efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://IP:Port/ke?useUnicode=
error_text=[E1008] Reached timeout=xxx ms 原因分析 由于导入数据时BE打开tablet writer操作可能涉及多个分片内存块的写盘操作，导致RPC超时，可以适当调整该RPC超时时间减少超时错误。 操作步骤 登录FusionInsight Manager，选择“集群
图2 添加Doris SQL防御规则 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。 若集群已启用Kerberos认证（安全模式），需先执行以下命令再连接Doris数据库： export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 直接连接FE节点访问Doris数据库：
ClickHouse加速TTL操作调优 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
