检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine计算实例任务积压,会导致该计算实例性能下降,业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine
HetuEngine计算实例内存负载使用率超过阈值,会导致该计算实例性能下降,业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine
HetuEngine计算实例查询时延超过阈值,说明当前业务SQL响应较慢,需关注任务运行情况。 可能原因 计算实例资源配置过小。 业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine
参考配置HetuEngine维护实例。 使用“create materialized view”创建具备自动刷新的物化视图。 如果物化视图过多,可能会导致物化视图在刷新的等待队列中等待时间过长而过期。 自动刷新功能不会自动刷新状态为disable的物化视图。 查询外部Hive数据源使用自动刷新物化视图注意事项
0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否(新版本可通过多租户方式配置) max_bytes_before_external_group_by 确定了在GROUP BY中启动将临时数据转存到磁盘上
HetuEngine计算实例任务失败率过高,会影响业务的正常运行,需及时排查问题并处理。 可能原因 计算实例资源配置过小。 业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine
产生告警的阈值。 对系统的影响 RegionServer WAL写入超时个数超过阈值,会增加写操作的延迟,数据写入速度变慢,并且WAL写入超时过多可能导致数据写入性能严重下降。 可能原因 慢盘故障。 RegionServer GC异常。 HBase负载过高。 WAL配置不合理。 处理步骤
在FusionInsight Manager首页,选择“集群 > 服务 > HBase > 图表”,在“图表分类”中选择“GC”,查看GC次数和GC时间监控是否异常。 是,执行6。 否,执行9。 单击“配置”,在搜索框中搜索“GC_OPTS”,在RegionServer所在节点内
是否自动重连。 true(默认值):开启自动重连。 false:关闭自动重连。 true GBase.max-reconnects 最大重连次数,默认值:3。 3 GBase.jdbc.use-information-schema 驱动程序是否应该使用INFORMATION_SCH
不使用Auto Bucket,需按照已有的数据量来进行分区分桶,能更好的提升导入及查询性能。Auto Bucket会造成Tablet数量过多,最终导致有大量的小文件。 创建表时的副本数必须至少为2,默认是3,禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。
解决Hudi隐式分区refresh table导致作业异常的问题 解决HBase Cache key had block type null日志打印过多,影响性能的问题 解决HBase偶现Ranger协处理器抛NullPointerException,导致regionserver重启的问题
Kafka生产者代码可参考使用Producer API向安全Topic生产消息。 KafkaConsumerMultThread.java: 该样例展示如何通过多线程将数据从Kafka集群写入到IoTDB,Kafka集群数据由Producer.java产生。 根据实际场景,在“KafkaProperties
0之前版本,导入的数据不能包含空格,否则此行数据导入失败并跳过导入,后续操作不受影响。 MRS 3.3.0及之后版本,导入的数据不能包含空格,否则此次数据导入操作会失败,需要对导入数据类型进行自检。 包含,的字段需要使用反引号括起来,例如:hello,world修改为`hello,world`。
owkey扫描 设计时应避免HBase随机查找、排序的应用场景。 业务表设计建议 预分Region,使Region分布均匀,提高并发 避免过多的热点Region。根据应用场景,可考虑将时间因素引入Rowkey。 同时访问的数据尽量连续存储。同时读取的数据相邻存储;同时读取的数据存
描述:计算string1和string2的Levenshtein距离,即将string转为string2所需要的单字符编辑(包括插入、删除或替换)最少次数。 select levenshtein_distance('helo word','hello,world'); -- 3 hamming_distance(string1
keepPartitioning: Boolean = false) : DataStream[R] 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。 说明: 对于定义一些需要不断更新模型的算法是非常有帮助的。 long maxWait
夹下。如果以后“root.vehicle”路径下增加了新的设备,也将属于该存储组。 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度)导致写入命令阻塞。
2通过的第6、7、8个收费站)且数量大于同行车要求的数量则这两辆车是同行车。 实现1逻辑的缺点 : 逻辑复杂 实现过程中shuffle操作过多,对性能影响较大。 图2 实现2逻辑 实现2的逻辑说明 : 根据车牌号聚合该车通过的所有收费站并排序,处理后数据如下: 车牌号1,[(通过
keepPartitioning: Boolean = false) : DataStream[R] 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。 说明: 对于定义一些需要不断更新模型的算法是非常有帮助的。 long maxWait
keepPartitioning: Boolean = false) : DataStream[R] 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。 说明: 对于定义一些需要不断更新模型的算法是非常有帮助的。 long maxWait