检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
修改OMS数据库访问用户密码 该任务指导管理员定期修改OMS数据库访问用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启OMS服务,服务在重启时无法访问。 修改OMS数据库访问用户密码(MRS 3.x及之后版本) 在FusionInsight Manager选择“系统
ALM-38017 分区均衡时间超过阈值 告警解释 系统每10分钟(可以通过修改Kafka配置项“auto.reassign.check.interval.ms”调整)周期性检测,扩容新的Broker后触发的分区均衡时间超过阈值(默认为1440分钟,可以通过修改Kafka配置项“reassignment
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。
概述 “数据导入”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS。
ALM-45643 RocksDB的MemTable大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)
ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.dur
ALM-43007 JobHistory2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测JobHistory2x进程非堆内存使用状态,当检测到JobHistory2x进程非堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
调整Hive元数据超时 大分区表包含过多分区,导致任务超时,同时大量分区可能需要更多时间来加载与元存储缓存同步。因此,为了在更大规模存储中获得更好的性能,建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。 使用HetuEngine管理员用户登录FusionInsight
文件输出 概述 “文件输出”算子,用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入:需要输出的字段 输出:文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。
典型场景:从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,
HBase用户认证失败 用户问题 HBase用户认证失败。 问题现象 客户侧HBase用户认证失败,报错信息如下: 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed
ALM-25007 SlapdServer连接数超过阈值 告警解释 系统每30秒周期性检查SlapdServer节点的进程连接数,并把实际进程连接数和阈值相比较,当进程连接数连续多次(默认值为5)超过设定阈值(默认值为1000)时,系统将产生此告警。 平滑次数可配置,当平滑次数为
ALM-45737 TokenServer堆内存使用率超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer服务堆内存使用状态,当连续10次检测到TokenServer实例堆内存使用率超出阈值(最大内存的95%)时产生该告警。
ALM-45587 IoTDBServer垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程的垃圾回收(GC)时间,当检测到IoTDBServer进程的垃圾回收(GC)连续3次超过阈值(默认12秒)时产生该告警。用户可通过“运维 > 告警 >
ALM-45590 ConfigNode垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程的垃圾回收(GC)时间,当检测到ConfigNode进程的垃圾回收(GC)时间连续3次超过阈值(默认12秒)时产生该告警。当ConfigNode垃圾回收(GC)时间小于阈值时,告警清除。
ALM-13003 ZooKeeper进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测ZooKeeper进程的垃圾回收(GC)占用时间,当检测到ZooKeeper进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 垃圾回收(GC)时间小于阈值时,告警恢复。
ALM-14015 DataNode进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测DataNode进程的垃圾回收(GC)占用时间,当检测到DataNode进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 垃圾回收(GC)时间小于阈值时,告警恢复。