检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
ouse_migration_tool/clickhouse-data-migration/comparison_result”目录下。 对比如下迁移后的结果文件信息,确认迁移后源集群和目标集群数据的一致性: source_cluster_table_info:源集群迁出数据的统计
区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故障硬盘的修复时间,有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic
Sink一般都是成对出现,用于多个Flume Agent间进行数据中转,因此一般场景下Avro Source和Avro Sink都不会成为性能瓶颈。 模块间性能 根据模块间性能对比,可以看到对于前端是SpoolDir Source的场景下,Kafka Sink和HDFS Sink都能满足吞吐量要求,但是HBase S
开启物化视图能力,提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL,使在线查询效率获得倍数提升,同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQ
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 生产者(Pr
通常不建议使用本地文件加载数据到hive表。 建议先将本地文件放入HDFS,然后从集群中加载数据。 Hive对load data local inpath命令有如下权限要求,请对照下述要求是否满足: 由于所有的命令都是发送到主HiveServer上去执行的,所以要求此文件在HiveServer节点上。 HiveSer
主机名,查看定位信息中对应的“PathName”字段值,获取异常的文件路径或者名称。 登录告警节点。 在参考信息中查找该文件的检查标准,并对照检查标准对文件进行进一步的手动检查和修改。 等待一个小时,进入下一次检查,查看告警是否恢复。 是,操作结束。 否,执行2。 收集故障信息。
原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求,请对照下述要求是否满足: 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。 由
Hive结构 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景
odeagent/scriptlog/checkfileconfig.log”,根据错误日志分析原因。在参考信息中查找该文件的检查标准,并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式,按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式,并输入:wq保存退出。
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
用图进行建模。 MRS服务的SparkSQL兼容部分Hive语法(以Hive-Test-benchmark测试集上的64个SQL语句为准)和标准SQL语法(以tpc-ds测试集上的99个SQL语句为准)。 Spark的架构和详细原理介绍,请参见:https://archive.apache
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
参数不合法。 请对照API文档检查参数是否正确 400 12000003 The cluster does not exist. 集群不存在! 请检查集群是否存在 400 12000009 The parameter is invalid. 参数不合法! 请对照API文档检查参数是否正确
构必须一致。 如果'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 如果备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 如果主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka基本原理
Sink一般都是成对出现,用于多个Flume Agent间进行数据中转,因此一般场景下Avro Source和Avro Sink都不会成为性能瓶颈。 模块间性能 根据模块间性能对比,可以看到对于前端是SpoolDir Source的场景下,Kafka Sink和HDFS Sink都能满足吞吐量要求,但是HBase S
常用参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置参数。 配置Stage失败重试次数 Sp