检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-24001 Flume Agent异常(2.x及以前版本) 告警解释 Flume Agent监控模块对Flume Agent状态进行监控,当Flume Agent进程故障时,系统产生此告警。 当检测到Flume Agent进程故障恢复,且告警处理完成时,告警恢复。 告警属性
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi
TimelineServer目录文件数量到达上限 问题现象 MRS 3.x版本集群,ResourceManager日志显示TimelineServer数据目录数量到达上限打印大量错误日志。 异常日志内容如下: The directory item limit of /tmp/ha
如果备集群中不存在与要开启实时同步的表同名的表,则该表会自动创建。 如果备集群中存在与要开启实时同步的表同名的表,则两个表的结构必须一致。 如果'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 如果备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。
管理Loader连接(MRS 3.x及之后版本) 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面: MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight
ALM-14006 HDFS文件数超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测HDFS文件数,并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 当HDFS文件数指标的值小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
数组函数和运算符 下标操作符:[] 描述:下标操作符用于访问数组中的元素,并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性,对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时,会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS
ClickHouse增加磁盘容量 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse集群和实例状态正常。
ALM-27001 DBService服务不可用 告警解释 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。 DBService服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 27001 紧急 是 告警参数 参数名称
Hive用户权限说明 Hive是建立在Hadoop上的数据仓库框架,提供类似SQL的HQL操作结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。Hive授权相关信息请参考:https://cwiki
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的J
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复: 现有集群节点安装补丁 扩容节点安装补丁 前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 功能简介 通过KeyTab文件认证方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 public class JDBCExampleZk
ClickHouse数据库应用开发 在ClickHouse的使用过程中,由于使用不规范的方式访问和查询,导致业务失败的情况时有发生。此外,偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查
ALM-24001 Flume Agent异常 告警解释 Flume Agent监控模块对Flume Agent状态进行监控,当Flume Agent进程故障(每5秒检测一次)或Flume Agent启动失败时(即时上报告警),系统产生此告警。 当检测到Flume Agent进程故障恢复,Flume
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurit
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后,当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时,将返回失败。 客户端日志,如下所示: 2017-07-11 13:17:19