检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
availability,HA)集群下,用于同步主备NameNode之间的元数据信息。 ZKFC ZKFC是需要和NameNode一一对应的服务,即每个NameNode都需要部署ZKFC。它负责监控NameNode的状态,并及时把状态写入Zookeeper。ZKFC有选择哪个NameNode作为主NameNode的权利。
txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS
打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换到omm用户。 执行命令vi $BIGDATA_LOG_HOME/omm/
conf替换“/opt/knox/conf/krb5.conf”文件。 备份原有客户端目录 mv {客户端目录} /opt/client_init 参考更新客户端章节,重新安装客户端。 使用root用户登录主备管理节点,执行如下命令,重启knox进程。 su - omm ps -ef | grep gateway
WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节,以及提供日志显示,帮助用户更细粒度地去开发、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。
txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文件路径HDFS
txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文件路径HDFS
txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS
在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 登录HDFS客户端。 cd 客户端安装目录 source bigdata_env 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
告警是否清除。 是,处理完毕。 否,执行25。 检查HDFS临时目录权限。 登录客户端所在节点,执行以下命令进入HDFS客户端安装目录。 cd 客户端安装目录 source bigdata_env kinit 具有supergroup组权限的用户(普通集群跳过该步骤) 执行命令以
al、yarn-cluster、yarn-client等。 appName:构建的Application名称。 SparkHome:集群中安装Spark的目录。 jars:应用程序代码和依赖包。 主体程序:处理数据 提交Application的描述请参见:https://archive
r/bin/openssl。 动态库依赖libcrypto.so.1.1无法找到。 如果集群为3.2.0及之前版本,可能在执行操作前执行了配置环境变量的命令(例如source bigdata_env),或修改了环境变量。3.2.0之后版本已修复该问题。 处理步骤 以omm用户通过主管理节点IP登录主管理节点。
是,执行1.c。 否,执行1.d。 按ALM-12006 节点故障(2.x及以前版本)提供的步骤处理该告警。 登录告警节点,查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户、用户组、权限为“omm:ficommon 750”。 是,执行1.f。 否,执行1.e。 执行
打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-serve
是,执行6。 否,执行13。 选择“备份路径 > 查看”,获取备份路径。 以root用户登录节点,执行以下命令查看节点挂载详情,用户密码为安装前用户自定义,请咨询系统管理员: df -h 在挂载详情中查看备份路径挂载点的剩余空间是否小于20GB。 是,执行9。 否,执行13。 查
throws ClassNotFoundException { // 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请
慢。 RegionServer(region openning)响应缓慢。 在以上场景中,为使HMaster更早完成恢复任务,建议增加以下配置参数,否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期,保证Master有足够的时间协调RegionServer
打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,执行sh ${BIGDATA_HOME}/om-server/OMS/work