检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令,将需要关联的关系型数据库驱动Jar包上传到HDFS目录下。 hdfs dfs -put Jar包所在目录 保存Jar包的HDFS目录 例如将“/opt”目录下ORACLE驱动Jar包上传到HDFS的“/tmp”目录下,则执行如下命令。
备份任务执行完成后,系统自动在备份目录中为每个备份任务创建子目录,目录名为“备份任务名_任务创建时间”,用于保存数据源的备份文件。备份文件的名称为“版本号_数据源_任务执行时间.tar.gz”。 父主题: 备份MRS集群组件数据
Flume数据采集慢 问题现象 Flume启动后,Flume数据采集慢。 原因分析 Flume堆内存设置不合理,导致Flume进程一直处于频繁GC。
在“恢复配置”,勾选“元数据和其他数据”下的“HBase”。 在“HBase”的“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。
在“Kafka”的“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“版本号_数据源_任务执行时间.tar.gz”。
前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
ALM-12004 OLdap资源异常 告警解释 系统按60秒周期检测Ldap资源,当连续6次监控到Manager中的Ldap资源异常时,系统产生此告警。 当Manager中的Ldap资源恢复,且告警处理完成时,告警恢复。
ALM-12002 HA资源异常(2.x及以前版本) 告警解释 HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时,产生该告警。 当HA检测到浮动IP地址或数据库正常后,告警恢复。
选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。 不选择“HDFS”时,系统不会分配存储资源。 文件\目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。
例如“备份路径/备份任务名_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “源NameService名称”:选择恢复任务执行时备份目录对应的NameService名称。 “RemoteHDFS”:表示从备集群的HDFS目录恢复数据。
创建名称为“hive”的Catalog、名称为“default”的数据库,如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。
在“恢复配置”,勾选“业务数据”下的“HBase”。 在“HBase”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。
使用Loader从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。
在“DBService”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考8。 在“Kafka”的“路径类型”,选择一个备份目录的类型。具体参数配置要求请参考8。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。
备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“备份任务名_数据源_任务创建时间”,数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。 父主题: 备份MRS集群组件数据
登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在表“资源使用(按二级Znode)”中,查看告警对应顶级Znode是否被写入较多数据。 是,执行3。 否,执行5。
恢复数据 将备份服务器上的备份数据文件上传到ClickHouse客户端所在目录。 例如,上传default_test.csv备份文件到:/opt/clickhouse目录下。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
恢复数据 将备份服务器上的备份数据文件上传到ClickHouse客户端所在目录。 例如,上传default_test.csv备份文件到:/opt/clickhouse目录下。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。