检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何开发Flume第三方插件 安装Flume客户端,如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下,使用以下命令建立目录,可根据实际业务进行命名,无固定名称:
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端,如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据: select * from s3(path [,access_key_id, secret_access_key] [,format] [
如何处理HetuEngine SQL运行过程中报错Encountered too many errors 问题 HetuEngine的业务SQL运行过程中,出现如下报错: Encountered too many errors talking to a worker node. The
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时,可能会造成部分Region上
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。 日志聚合功能
如何在Flume配置文件中使用环境变量 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点: 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 支持online和offline场景
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时,可能会造成部分Region上
功百分比,HiveQL成功百分比由一个周期内Hive执行成功的HiveQL数/Hive执行HiveQL总数计算得到。该指标可在Hive服务监控界面查看。执行的HiveQL成功百分比指标默认提供一个阈值范围(90%),当检测到百分比指标低于阈值范围产生该告警。在该告警的定位信息可查
HDFS进入安全模式导致HBase服务异常,退出安全模式后HBase如何快速恢复 现象描述 MRS 3.5.0及之后版本,HDFS进入安全模式后导致HBase服务异常,退出安全模式后HBase如何快速恢复? 原因分析 HDFS进入安全模式后HBase服务异常,导致meta表下线;
在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? 问题现象 在MRS集群外节点上安装了客户端后并执行kinit命令报错如下: -bash kinit Permission denied 执行java命令也报错如下: -bash: /xxx/java:
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
具体的HiveServer实例”,找到“Background线程数”与“Background线程使用率”监控信息。 图1 Background监控信息 在Background线程数监控中,线程数目最近半小时时间内是否有异常偏高(默认队列数值为100,偏高数值>=90)。 是,执行3。
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点: 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 MRS服
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果数据库异常,所有Manager的核心业务和相关业务进程(例如告警和监控入库、查询的功能)都会受影响。 可能原因 数据库异常。 处理步骤 检查主备管理节点的数据库状态。 以root用户分别登录主备管理节点,用户
MySQL链路任务启动时如何从指定位置抓取数据 现象描述 MySQL链路任务启动时,可以从指定位置抓取数据,本章节主要介绍如何获取指定位置参数。 图1 启动任务 处理步骤 使用工具或者命令行连接MySQL数据库(本示例使用Navicat工具连接)。 执行以下命令。 SHOW MASTER
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内,DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的,类似于Linux里面的df命令。理想状态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。