检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请参见使用Get API读取HBase表数据。 5 根据用户姓名进行查询。 请参见使用Filter过滤器读取HBase表数据。 6 为提升查询性能,创建二级索引或者删除二级索引。 请参见创建HBase表二级索引和基于二级索引查询HBase表数据。 7 用户销户,删除用户信息表中该用户的数据。
请参见使用Get API读取HBase表数据。 5 根据用户姓名进行查询。 请参见使用Filter过滤器读取HBase表数据。 6 为提升查询性能,创建二级索引或者删除二级索引。 请参见创建HBase表二级索引和基于二级索引查询HBase表数据。 7 用户销户,删除用户信息表中该用户的数据。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 系统性能下降,慢盘会导致系统I/O性能下降,从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢(例如:作业提交运行变慢、页面响应迟钝、接口响应超时等),甚至出现崩溃或错误。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ConfigNode进程的垃圾回收(GC)时间过长,可能导致该ConfigNode进程数据读写性能下降。 可能原因 该节点配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查堆内存配置。 在FusionInsight Manager首页,选择“运维
Threshold 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例Worker个数减少,会导致该计算实例性能下降,业务SQL响应变慢。 可能原因 Yarn资源队列资源不足。 运行任务量过大,导致Worker节点OMM内存溢出,从而导致Worker节点减少。
Loading)操作。对庞大的数据集查询需要耗费大量的时间去处理,在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不
量的两倍(或根据实际情况进行调整)。 注意堆内存设置时,可以设置“-Xms”和 “-Xmx”近似相等,从而避免每次GC后调整堆的大小,引起性能下降。 “-Xmx”与“XX:MaxPermSize”之和不能大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。
partitioned by (datestr) as select * from parquet_mngd; 注意事项 为了更好的加载数据性能,CTAS使用bulk insert作为写入方式。 系统响应 Table创建成功,创建成功的消息将被记录在系统日志中。 父主题: Hudi
(默认队列数值为100,偏高数值>=90)。 是,执行3。 否,执行5。 调整提交到background线程池的任务数(比如,取消一些后台性能低,耗时长的任务)。 “Background线程数”和“Background线程数使用率”是否下降。 是,执行7。 否,执行5。 检查HiveServer
不加密。 说明: 仅当“hadoop.rpc.protection”设置为“privacy”时使用。 业务数据传输量较大时,默认启用加密对性能影响严重,使用时请注意。 如果互信集群的一端集群配置了数据传输加密,则对端集群也需配置同样的数据传输加密。 false dfs.encrypt
{NAME=>'f', COLD_BOUNDARY=>'86400'} 在业务低峰期执行Major Compaction操作,避免影响业务性能: major_compact 'hot_cold_table' 将冷存储数据转为热存储数据: 将写入到hot_cold_table表的f
解决HBase主备倒换后,RSGOUP显示DEAD REGIONSERVERS的问题。 解决HBase开启Ranger鉴权后Getlist性能下降的问题。 解决HBase数据管理-数据集导入数量为0的问题。 解决HMaster的hbase.regionserver.handler
Threshold 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例CPU负载使用率超过阈值,会导致该计算实例性能下降,业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响JobHistory2x进程运行的性能,甚至造成JobHistory2x进程不可用,进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistor
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响IndexServer2x进程运行的性能,甚至造成IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 MapReduce JobHistoryServer非堆内存使用率过高,会影响MapReduce任务提交和运行的性能,甚至造成内存溢出导致MapReduce服务不可用。 可能原因 该节点MapReduce JobHistoryServer实例非堆内存使用
导致业务处理缓慢、超时、失败,可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 磁盘配置无法满足业务需求,磁盘IO性能达到上限。或业务处于高峰期,导致短期内磁盘IO写入等待时长达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘I
hadoop distcp obs://OBS并行文件系统名称/hadoop1/teragen1 /tmp OBS文件系统打印大量日志可能导致读写性能受影响,可通过调整OBS客户端日志级别优化,日志调整方式如下: cd 客户端安装目录/Yarn/config vi log4j.properties
、TINYINT、SMALLINT、INTEGER、BIGINT、DOUBLE、BOOLEAN、TIME、DATE和TIMESTAMP。 性能优化 谓词下推 查询支持大部分算子下推,支持的谓词条件有:=、>=、>、<、<=、!=、IN、NOT IN、IS NULL、IS NOT NULL和BETWEEN
e程序中计算的数据可以来自多个数据源,如Local FileSystem、HDFS、数据库等。最常用的是HDFS,可以利用HDFS的高吞吐性能读取大规模的数据进行计算。同时在计算完成后,也可以将数据存储到HDFS。 HDFS和Spark的关系 通常,Spark中计算的数据可以来自多个数据源,如Local