云服务器内容精选

  • 前提条件 已购 云桌面 。 管理员账号已具备云备份服务操作权限。 自主注册的华为账号默认拥有华为云所有服务的操作权限,如果您使用的是此类账号,无需再进行确认。 华为账号下新建的 IAM 账号,需要加入“admin”内置用户组,或者拥有云备份服务操作权限的用户组,才可使用云备份服务。可进入“ 统一身份认证 服务”中查看是否属于“admin”内置用户组。如果非“admin”内置用户组,请参见云备份服务授权赋予IAM账号使用云备份服务的权限。
  • 操作步骤 参考云备份服务《快速入门》手册快速创建SFS Turbo备份章节。 创建云桌面备份存储库时,请选择需要备份的云桌面。 参考云备份服务《快速入门》手册参考快速创建云桌面备份章节。 云桌面处于“可用”或“正在使用”状态才可进行备份,如果对云桌面进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 如果在备份过程中对云桌面的数据进行删除等操作,被删除的文件可能不会被备份成功。为了保证数据完整性,建议备份完成后再对数据进行操作再重新执行备份。
  • 操作步骤 创建云硬盘。 根据待备份本地盘数据的容量大小,创建本地盘。 新创建的云硬盘需要与待备份本地盘的弹性云服务器位于同一区域、同一可用区。 详细操作,请参见新增磁盘。 挂载云硬盘。 将创建的云硬盘挂载至待备份本地盘的弹性云服务器。 详细操作,请参见挂载磁盘。 备份本地盘数据。 将本地盘中需要备份的数据,备份至新挂载的云硬盘中。 卸载云硬盘。 本地盘数据备份完成后,卸载2中挂载的云硬盘。 详细操作,请参见在线卸载磁盘。 当完成弹性云服务器的响应事件操作时,可以将卸载的云硬盘再次挂载,并将备份的数据恢复至本地盘中。
  • Snapshots 对表执行snapshot操作生成快照,既可以作为原表的备份,当原表出现问题的时候可以回滚恢复,也可以作为跨集群的数据备份工具。执行快照会在当前HBase上的根目录(默认为/hbase)生成“ .hbase-snapshot”目录,里面有每个快照的详细信息。当执行ExportSnapshot导出快照时,会在本地提交MR任务,将快照信息以及表的HFile分别拷贝到备集群的/hbase/.hbase-snapshot和/hbase/archive中。详情请参考http://hbase.apache.org/2.2/book.html#ops.snapshots。 该方式数据备份的优点: 单表备份效率高,在线数据本地/远程备份,不中断主集群和备集群业务,可以灵活配置map的个数和限制流量,MapReduce的执行节点可不在主备集群(不占资源)。 该方式数据备份的缺点和限制: 只能单表操作,备份的表名在snapshot中已经指定无法更改,且无法增量备份,运行MR需要占用本地集群资源。 在主集群执行如下操作: 对表创建快照。例如对表member创建快照member_snapshot。 snapshot 'member','member_snapshot' 将快照拷贝到备集群上。 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot member_snapshot -copy-to hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase -mappers 3 备集群的数据目录必须为HBASE根目录(/hbase) mappers表示MR任务需要提交的map个数 在备集群执行如下操作: 使用restore命令在备集群自动新建表,以及与archive里的HFile建立link。 restore_snapshot 'member_snapshot' 如果只是备份表数据的话,建议使用此种方式备份,SnapshotExport会在本地提交MR任务,将Snapshot和HFile拷贝到备集群,之后可以在备集群直接加载数据,效率比其他方式高很多。
  • CopyTable 拷贝表功能与导出功能类似,拷贝表也使用HBase API创建了一个MapReduce任务,以便从源表读取数据。不同的地方是拷贝表的输出是hbase中的另一张表,这张表可以在本地集群,也可以在远程集群。详情请参考http://hbase.apache.org/2.2/book.html#copy.table。 该方式数据备份的优点: 操作简单,在线拷贝不中断业务,可以指定备份数据的startrow/endrow/timestamp。 该方式数据备份的缺点和限制: 只能单表操作,远程拷贝数据量大时效率较低,MapReduce需要占用本地资源,MapReduce的map个数以表region的个数划分。 在备集群执行如下操作: 执行create命令在备集群上新建与主集群相同结构的表,例如member_copy。 在主集群执行如下操作: 执行CopyTable的命令拷贝表。 hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=xxxxxx] [--endtime=xxxxxx] --new.name=member_copy --peer.adr=server1,server2,server3:2181:/hbase [--families=myOldCf:myNewCf,cf2,cf3] TestTable starttime/endtime为待拷贝数据的时间戳。 new.name为备集群中目的表的表名,默认为和原来表名相同。 peer.adr为备集群zookeeper节点的信息,格式为quorumer:port:/hbase。 families为待拷贝的表的family列。 如果是拷贝数据到远端集群,此种方式导入数据会在主机群上提交MapReduce任务,读取原始表的全量/部分数据之后采用put的方式写入远端集群,所以如果表的数据量很大(远程拷贝不支持bulkload),则效率会比较低。
  • Replication Replication备份是在HBase上建立主备集群的容灾关系,当数据写入主集群,主集群通过WAL来主动push数据到备集群上,从而达到主备集群的实时同步。详情请参考http://hbase.apache.org/2.2/book.html#_cluster_replication。 该方式数据备份的优点: 使用replication有别于其他几种数据备份导入方式,当配置了集群间的主备关系后,数据可以实时同步(无需人为操作)。 相对而言,“备份”的动作占用集群的资源较少,对集群的性能影响小。 数据同步可靠性较高,如果备集群停止一段时间后再恢复,这中间主机群的数据依然会同步到备集群。 该方式数据备份的缺点和限制: 如果客户端写入的数据设置不写WAL,则数据无法备份到备集群。 由于占用的资源少,后台是通过异步的方式同步数据,实际数据没有实时同步。 对于开启表replication同步之前,主集群就已经存在的数据无法同步,需要借助其他方式导入的备集群。 bulkload方式写入到主集群的数据无法同步( MRS 上的HBase对replication做了增强,支持bulkload on replication)。 具体的使用和配置方法请参考配置HBase备份和使用ReplicationSyncUp工具来进行备份数据。
  • Offline backup of HDFS data 离线备份HDFS数据,即关闭HBase服务并手工在HDFS上拷贝数据。 该方式数据备份的优点: 可以把主集群上所有数据(包含元数据)整个复制到备集群。 由于是通过Distcp直接拷贝的,所以数据备份的效率相对较高。 实际操作时可以根据具体的需求灵活拷贝,可以只拷贝其中一个表的数据,也可以拷贝region中的其中一个HFile等。 该方式数据备份的缺点和限制: 此操作会覆盖备集群上的HDFS的数据目录。 如果主备集群间的HBase版本不同,HDFS目录直接拷贝可能会出现问题,例如MRS上的hbase1.3版本新增了系统表index,如果使用老版本的HDFS目录直接覆盖,会找不到该数据表。所以此种方案在执行前需要慎重考虑。 此操作对用户使用HBase的能力有一定的要求,如出现异常情况需要根据实际情况执行恢复。 在主集群执行如下操作: 执行如下命令将当前集群内存中的数据持久化到HDFS中。 flush 'tableName' 停止HBase服务。 使用distcp命令拷贝当前集群HDFS上的数据到备集群上。 hadoop distcp -i /hbase/data hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase hadoop distcp -update -append -delete /hbase/ hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase/ 第二条命令为增量拷贝除了data目录以外的文件,例如archive里面的数据可能还有被数据目录所引用。 在备集群执行如下操作: 重启HBase服务,使数据迁移生效。在启动过程中,HBase会加载当前HDFS上的数据并重新生成元数据。 启动完成后,在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta -fixAssignments 命令执行完成后,重复执行如下命令查看HBase集群健康状态直至正常。 hbase hbck 当用户使用了HBase协处理器,自定义jar包放在主集群的regionserver/hmaster上时,在备集群重启HBase之前,需要把这些自定义jar包也拷贝过来。