检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
Ranger日志介绍 日志描述 日志存储路径:Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin:“/var/log/Bigdata/ranger/rangeradmin”(运行日志)。 TagSync:“/va
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。 日志归档规则:Hue的日志启动了自动压缩归档功能,默认情况下,当“access.log”、“error
Loader日志介绍 日志描述 日志存储路径:Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。 runlog:“/var/log/Bigdata/loader/runlog”(运行日志) scriptlog:“/var/log/B
ALM-12101 AZ不健康 告警解释 AZ容灾开启后,系统每隔5分钟检查一次当前系统上AZ的健康状态,当检测到AZ健康状态为亚健康或者不健康时产生告警。AZ健康状态恢复健康时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 12101 紧急 是 告警参数 告警参数 参数含义
数据迁移到MRS前网络准备 数据迁移网络方案说明 进行大数据迁移时,需要保证源端集群和目的端集群之间的网络互通,例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
用户名过长导致下载认证凭据失败 用户问题 MRS 3.0.2~MRS 3.1.0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群,当用
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
MRS 1.7.1.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.6 发布时间 2019-01-24 解决的问题 MRS 1.7.1.6修复问题列表: MRS Manager MRS服务启动、停止及重启支持显示依赖关系,并自定义重启哪些服务。 MRS
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。
ALM-12204 磁盘IO读取等待时长超过阈值 告警解释 系统每30秒周期性检测磁盘IO读取等待时长,并把实际磁盘IO读取等待时长和阈值相比较。当检测到磁盘IO读取等待时长连续多次超出阈值范围(默认值为10秒)时产生该告警。 当磁盘IO读取等待时长小于或等于阈值时,告警恢复。 该告警仅适用于MRS
典型场景:从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取S
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
配置Flink作业状态后端冷热数据分离存储 本章节适用于MRS 3.3.0及以后版本。 在宽表关联计算场景中,每张表字段较多,导致状态后端数据量较大,严重影响状态后端性能时,可开启状态后端冷热分级存储功能。 开启状态后端冷热分级存储功能步骤 安装包含Flink、HBase等服务的