检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可根据关键字字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin Ranger上操作审计信息,例如安全访
> 添加服务”。 在服务列表中,勾选需要添加的服务,单击“下一步”。 添加服务时,该服务依赖的下层服务也会自动勾选,可以同时添加多个服务。 只能在状态正常的节点或节点组上添加服务。 Hadoop服务内的组件(MapReduce、Yarn和HDFS)不支持单独添加。 未安装Hado
Hive服务状态为Unknown 问题现象 Hive服务状态为unknown。 可能原因 Hive服务停止。 解决方案 尝试重启Hive服务。 父主题: 使用Hive
er的table-lock节点(默认路径/hbase/table-lock)下残留有新建的表名,请问该如何清理? 回答 操作步骤如下: 在安装好客户端的环境下,使用hbase用户进行kinit认证。 执行hbase zkcli命令进入ZooKeeper命令行。 在ZooKeeper命令行中执行ls
jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录下。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd /opt/Bigdata/client
b”。 例如,在IE浏览器地址栏中,输入“https://10.0.0.1:28443/web”。 选择“集群 > 待操作集群的名称 > 服务 > Storm”,单击进入Storm WebUI。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。
告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期,OMS数据库无法管理,数据不能访问。
影响范围 涉及版本 MRS 3.x 涉及模块 管理面:不涉及该漏洞 租户面:Manager(Web+Controller+nodeagent)、Kafka、Flink MRS 3.1.0.x执行以下章节: 修复Manager Web 修复Manager Controller 修复Manager
Flume服务端进程故障 问题现象 Flume运行一段时间后,Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常,重启后Manager界面提示如下信息: [2019-02-26 13:38:02]RoleInstance prepare
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL)
Spark on yarn-client运行框架 Spark on yarn-client实现流程: 在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端
b”。 例如,在IE浏览器地址栏中,输入“https://10.0.0.1:28443/web”。 选择“集群 > 待操作集群的名称 > 服务 > Storm”,单击进入Storm WebUI。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。
ata1.txt,input_data2.txt到此目录,操作如下: 执行以下命令进入HDFS客户端目录并认证用户。 cd HDFS客户端安装目录 source bigdata_env kinit 组件业务用户 (该用户需要具有操作HDFS的权限,首次认证需要修改密码) 执行以下命令创建“/tmp/input”目录。
1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
MRS服务是否支持安全删除的能力? 问: MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答: MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 ”。 选择“Yarn”并在“Yarn 概述”中“ResourceManager Web UI”中单击“ResourceManager Web
WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
试使用combineInputFormat来减少任务读取的文件数量。 增大hadoop命令执行时的内存,该内存在客户端中设置,修改“客户端安装目录/HDFS/component_env”文件中“CLIENT_GC_OPTS”的“-Xmx”参数,将该参数的默认值改大,比如改为512m。然后执行source
Spark on yarn-client运行框架 Spark on yarn-client实现流程: 在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm用户过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 omm用户过期。 处理步骤 检查系统中omm用户是否过期。