检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对磁盘健康状态进行检查,建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储,筛选出明显数据增加或不足的硬盘,并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。
insync.replicas=2 其中192.168.1.205为ZooKeeper业务IP地址。 如果修改服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 父主题: 使用Kafka
port”(9870)。 参考如下链接,创建目录。 http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令
开始时间:如果未设置,则取默认的开始时间为0。 结束时间:如果未设置,则取默认的结束时间为当前操作提交的时间。 表名:如果未输入表名,则默认校验所有的启用了实时同步的用户表。 切换数据写入状态 set_clusterState_active set_clusterState_standby 设置集群HBase表是否可写入数据。
Availability,用于解决NameNode单点故障问题,该特性通过主备的方式为主NameNode提供一个备用者,一旦主NameNode出现故障,可以迅速切换至备NameNode,从而不间断对外提供服务。 在一个典型HDFS HA场景中,通常由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。
如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行21。 检查DataNode数据目录是否创建失败。 执行su - omm命令,切换到omm用户。 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。
proxyuser.test.groups”值为“*”:表示test用户连接后,可以使用任意代理用户,不限制代理用户所在的用户组。 修改如下参数值,切换JDBCServer实例至多实例模式: 参数名称 值 spark.scheduler.allocation.file #{conf_dir}/fairscheduler
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
MRS 1.7.1.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.6 发布时间 2019-01-24 解决的问题 MRS 1.7.1.6修复问题列表: MRS Manager MRS服务启动、停止及重启支持显示依赖关系,并自定义重启哪些服务。 MRS
使用Capacity调度器集群请参考表4为子租户配置属性。 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
访问MRS集群Manager。 如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/hadoopclient)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果集群为
还可单击“导出全部”,在“保存类型”选择“TXT”或“CSV”,单击“确定”导出所有主机的信息。系统默认为“主机视图”,单击“角色视图”切换视图类型,也可单击编辑按钮自定义各视图展示的内容。 表2 主机视图类型说明 视图类型 说明 主机视图 主要显示每个主机的IP地址信息、机架
所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。 sudo su - root cp /tmp/MRS_Flume_Client.tar
Spark客户端配置文件(例如:客户端目录为“/opt/client”,具体以实际为准): 以root用户登录Spark客户端所在的节点,切换到客户端安装目录。 cd /opt/client 执行以下命令修改Spark客户端配置文件目录下的“hive-site.xml”。 vi
集群信息页面。 在集群详情页,单击“组件管理”。 图1 组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 在服务节点下的参数属于服务级别的
catalogs; 执行以下命令查询Catalog下面的数据库: show databases from hive_catalog; 执行以下命令切换到指定Catalog,再进入到数据库中: switch hive_catalog; use default; 查询Catalog中某个库中的所有表:
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect