检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager页面,在告警列表中,单击此告警所在行的下拉框,查看该告警的主机地址 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换到omm用户。 执行命令ulimit -u,获取到当前配置的omm用户同时打开的线程最大数的配置值,查看该值是否大于等于60000。
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
查看该“定位信息”中对应的“主机名”字段值,获取该告警产生的主机名。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行/bin/rpm -qa | grep -w "haveged"命令查看haveged安装情况,观察命令返回结果是否为空。 是,执行6。
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x >
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
执行ping命令,查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行20。 否,执行18。 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行20。 收集故障信息。 在主备集群的FusionInsight
/opt”目录。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。 步骤4:运行作业并查看结果
后执行5。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行7。 否,执行6。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行7。 否,执行22。 以
因此,能够基于数据的age自动识别出老化的数据,并将它们迁移到价格低廉的存储介质(如Disk/Archive)上,会给用户节省很高的存储成本,提高数据管理效率。 HDFS Auto Data Movement工具是HDFS冷热数据迁移的核心,根据数据的使用频率自动识别数据冷热设定不同的存储策略。该工具主要支持以下功能:
>,其中3中进行加密的密码与此步骤的密码相同。 将生成的密钥文件分发到集群中所有节点的相同目录下,并为omm用户配置该文件的读写权限。 请管理员根据企业安全要求,选择安全的操作步骤分发密钥。 如果在使用过程中,有节点出现密钥文件丢失的情况,请按照此步骤从其他节点复制到该节点。 在FusionInsight
g\hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user
MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置 是 日志信息丢失 /tenant 添加租户时创建 配置租户在HDFS中的存储目录,系统默认将自动在“/tenant”目录
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 服务 > Spark2x > 配置”。 单击“全
环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系
象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。
检查该告警是否恢复。 是,处理完毕。 否,执行9。 以root用户登录到产生告警的DataNode的节点,用户密码为安装前用户自定义,请咨询系统管理员。 如果告警原因为“DataNode数据目录创建失败”,执行10。 如果告警原因为“DataNode数据目录与系统关键目录(/或/boot)使用同一磁盘”,执行17。
象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。
取“user.keytab”、“krb5.conf”,并在Linux环境上创建文件夹保存这些配置文件,例如“/opt/conf”。 请联系管理员获取相应账号对应权限的“user.keytab”和“krb5.conf”文件,“hbase-site.xml”从HBase客户端获取,例
用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [ {
象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。