检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
ALM-12014 设备分区丢失(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区丢失(如由于设备拔出、设备离线、删除分区等原因)时,产生此告警。 告警属性 告警ID 告警级别 可自动清除 12014 严重 是:MRS 1.9.3.10及之后补丁版本
NameNode节点长时间满负载导致客户端无响应 问题 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时,导致NameNode无法响应,对于新连接到该NameNode的HDFS客户端,能够主备切换连接到另一个NameNode,进行正常的操作,而对
NameNode节点长时间满负载导致客户端无响应 问题 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时,导致NameNode无法响应,对于新连接到该NameNode的HDFS客户端,能够主备切换连接到另一个NameNode,进行正常的操作,而对
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
Loader作业目的连接配置说明 基本介绍 Loader作业需要将数据保存到不同目的存储位置时,应该选择对应类型的目的连接,每种连接在该场景中需要配置连接的属性。 obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。
以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 *
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件,用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 如果集群
最新动态 本文介绍了MapReduce服务MRS各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2021年07月 序号 功能名称 功能描述 阶段 相关文档 1 MRS支持Hudi组件 Hudi是数据湖的文件组织层,对Parquet格式
hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集群cluster1和集群cluster2之间的网络必须保持互通,且两个集群需要使用相同或兼容的HDFS版本。 多个源目录的数据拷贝,示例如下: hadoop distcp hdfs://cluster1/foo/a
主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束:
BlockManager.logAddStoredBlock(BlockManager.java:2393) DataNode上报块写成功通知延迟的原因可能有:网络瓶颈导致、CPU瓶颈导致。 如果此时再次调用close或者close的retry的次数增多,那么close都将返回成功。建议适当增大参数dfs
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程(TSD)和一组命令
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其
ALM-50217 FE节点堆内存的使用率超过阈值 告警解释 系统每30秒周期性检查FE节点堆内存的使用率,当检查到该值超出阈值(默认值为95%)时产生该告警。 当FE节点堆内存的使用率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50217 紧急 是 告警参数
hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集群cluster1和集群cluster2之间的网络必须保持互通,且两个集群需要使用相同或兼容的HDFS版本。 多个源目录的数据拷贝,示例如下: hadoop distcp hdfs://cluster1/foo/a
手动将CSV离线数据导入至IoTDB 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统,采用轻量式架构,具有高性能和丰富的功能。 IoTDB支持以下方式批量导入或导出数据: 批量导入数据:通过import-csv.sh离线方式进行数据的导入。