检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDL CDL简介 CDL(全称Change Data Loader)是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。
ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 系统每30秒周期性检查MemArtsCC组件的CCWorker进程内部所有read请求的平均时延,当检查到超过限制时触发该告警。 当检测到C
配置从NameNode支持读操作 配置场景 在配置了HA的HDFS集群中,存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求,备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点:主NameNode会成为客户端请求
HDFS应用开发建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加,不能随机添加。 只有存储在HDFS文件系统中的数据才支持append,edit.log以及数据元文件不支持Append。Append追加文件时,需要将“hdfs-site
配置从NameNode支持读操作 配置场景 在配置了HA的HDFS集群中,存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求,备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点:主NameNode会成为客户端请求
Kafka高可靠使用说明 Kafka高可靠、高可用说明 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能,可以采用参数: 参数 默认值 说明 unclean.leader
ALM-14022 NameNode RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测NameNode的RPC队列平均时间,并把实际的NameNode的RPC队列平均时间和阈值(默认为200ms)相比较。当检测到NameNode的RPC队列平均时间连续多次(默认为10次)超出阈值范围时,产生该告警。
DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment,在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name
DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment,在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name
IoTDB性能调优 配置场景 IoTDB主要利用堆内存完成读写操作。提高IoTDB内存可以有效提高IoTDB读写性能。 配置描述 登录集群FusionInsight Manager页面,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,进入IoTDB配置界面搜索并修改参数。
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
有210000个map和10000个reduce的HBase BulkLoad任务运行失败 问题 MRS 3.x及之后版本HBase bulkLoad任务(单个表有26T数据)有210000个map和10000个reduce,任务失败。 回答 ZooKeeper IO瓶颈观测手段:
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
有210000个map和10000个reduce的HBase BulkLoad任务运行失败 问题 HBase bulkLoad任务(单个表有26T数据)有210000个map和10000个reduce,任务失败。 回答 ZooKeeper IO瓶颈观测手段: 通过Manager的
使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。
典型场景:从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁
ALM-43029 JDBCServer作业提交超时 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 用户提交JDBC作业后,会尝试创建JDBCServer进程,并建立Session连接,在建立连接成功前,如果超出预设阈值,则会发出该告警。与该告警相关的配置参数有两个: spark
查看MRS集群事件 事件列表显示了集群中的所有事件信息,如重启服务、停止服务等。 事件列表默认按时间顺序排列,时间最近的事件显示在最前端。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
更多ClickHouse权限管理、导入RDS MySQL/OBS/HDFS/DWS等数据至ClickHouse表中、ClickHouse多租户管理、通过ELB访问ClickHouse等操作请参见使用ClickHouse。
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响: 配置高