检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
恢复HBase业务数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对HBase进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参
为什么NameNode UI上显示有一些块缺失 问题 回滚成功后,为什么NameNode UI上显示有一些块缺失? 回答 原因:具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长
为什么NameNode UI上显示有一些块缺失 问题 回滚成功后,为什么NameNode UI上显示有一些块缺失? 回答 原因:具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长
配置ClickHouse通过用户密码对接Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍ClickHouse通过用户名和密码的方式连接Kafka,消费Kafka的数据。 前提条件 已创建Kafka集群,且为安全模式(开启Kerberos认证)。
MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明 补丁基本信息 表1 补丁基本信息 解决的问题 补丁号:MRS 1.9.0.10 发布时间:2023-01-17 修复问题列表: MRS大数据组件 OBSA支持流控重试 补丁号:MRS 1.9.0.9 发布时间:2022-08-10
在Linux环境中调测Spark应用 在程序代码完成开发后,您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source,通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job 如何从IoTDB server读取时序数据的场景: Flink使用IoTDBSource从
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块(HBase FileStream,简称HFS)是HBase的独立模块,它作为对HBase与HDFS接口的封装,应用在MRS的上层应用,为上层应用提供文件的存储、读取、删除等功能。
在Linux环境中调测Spark应用 在程序代码完成开发后,您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。
ALM-14029 单副本的块数超过阈值 告警解释 系统每4个小时周期性检测单副本块的数量,并把当前单副本的块数和阈值相比较。单副本的块数量指标默认提供一个阈值范围。当检测到单副本的块数量超出阈值范围时产生该告警。 待补齐的块数量小于阈值时,告警恢复。 告警属性 告警ID 告警级别
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
备份Manager数据(MRS 3.x及之后版本) 操作场景 为了确保FusionInsight Manager系统日常数据安全,或者系统管理员需要对Manager进行重大操作(如扩容、减容等)前后,需要对Manager数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及
Flink HA方案介绍 Flink HA方案介绍 每个Flink集群只有单个JobManager,存在单点失败的情况。Flink有Yarn、Standalone和Local三种模式,其中Yarn和Standalone是集群模式,Local是指单机模式。但Flink对于Yarn模
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
查看MRS集群节点资源监控指标 用户在日常使用中,可以实时查看MRS集群内各节点的状态及指标信息,及时了解节点运行状态及资源消耗情况。 查看MRS集群节点资源监控指标前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
配置HBase主备集群容灾 操作场景 HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性,为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具,包含灾备关系维护,重建,数据校验,数据同步进展查看等功能。为了实现数据的实时容灾,可以把本HBase集群