云服务器内容精选
-
操作步骤 参考云备份服务《快速入门》手册快速创建SFS Turbo备份章节。 创建云桌面备份存储库时,请选择需要备份的云桌面。 参考云备份服务《快速入门》手册参考快速创建云桌面备份章节。 云桌面处于“可用”或“正在使用”状态才可进行备份,如果对云桌面进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 如果在备份过程中对云桌面的数据进行删除等操作,被删除的文件可能不会被备份成功。为了保证数据完整性,建议备份完成后再对数据进行操作再重新执行备份。
-
操作步骤 创建云硬盘。 根据待备份本地盘数据的容量大小,创建本地盘。 新创建的云硬盘需要与待备份本地盘的弹性云服务器位于同一区域、同一可用区。 详细操作,请参见新增磁盘。 挂载云硬盘。 将创建的云硬盘挂载至待备份本地盘的弹性云服务器。 详细操作,请参见挂载磁盘。 备份本地盘数据。 将本地盘中需要备份的数据,备份至新挂载的云硬盘中。 卸载云硬盘。 本地盘数据备份完成后,卸载2中挂载的云硬盘。 详细操作,请参见在线卸载磁盘。 当完成弹性云服务器的响应事件操作时,可以将卸载的云硬盘再次挂载,并将备份的数据恢复至本地盘中。
-
Snapshots 对表执行snapshot操作生成快照,既可以作为原表的备份,当原表出现问题的时候可以回滚恢复,也可以作为跨集群的数据备份工具。执行快照会在当前HBase上的根目录(默认为/hbase)生成“ .hbase-snapshot”目录,里面有每个快照的详细信息。当执行ExportSnapshot导出快照时,会在本地提交MR任务,将快照信息以及表的HFile分别拷贝到备集群的/hbase/.hbase-snapshot和/hbase/archive中。详情请参考http://hbase.apache.org/2.2/book.html#ops.snapshots。 该方式数据备份的优点: 单表备份效率高,在线数据本地/远程备份,不中断主集群和备集群业务,可以灵活配置map的个数和限制流量,MapReduce的执行节点可不在主备集群(不占资源)。 该方式数据备份的缺点和限制: 只能单表操作,备份的表名在snapshot中已经指定无法更改,且无法增量备份,运行MR需要占用本地集群资源。 在主集群执行如下操作: 对表创建快照。例如对表member创建快照member_snapshot。 snapshot 'member','member_snapshot' 将快照拷贝到备集群上。 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot member_snapshot -copy-to hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase -mappers 3 备集群的数据目录必须为HBASE根目录(/hbase) mappers表示MR任务需要提交的map个数 在备集群执行如下操作: 使用restore命令在备集群自动新建表,以及与archive里的HFile建立link。 restore_snapshot 'member_snapshot' 如果只是备份表数据的话,建议使用此种方式备份,SnapshotExport会在本地提交MR任务,将Snapshot和HFile拷贝到备集群,之后可以在备集群直接加载数据,效率比其他方式高很多。
-
CopyTable 拷贝表功能与导出功能类似,拷贝表也使用HBase API创建了一个MapReduce任务,以便从源表读取数据。不同的地方是拷贝表的输出是hbase中的另一张表,这张表可以在本地集群,也可以在远程集群。详情请参考http://hbase.apache.org/2.2/book.html#copy.table。 该方式数据备份的优点: 操作简单,在线拷贝不中断业务,可以指定备份数据的startrow/endrow/timestamp。 该方式数据备份的缺点和限制: 只能单表操作,远程拷贝数据量大时效率较低,MapReduce需要占用本地资源,MapReduce的map个数以表region的个数划分。 在备集群执行如下操作: 执行create命令在备集群上新建与主集群相同结构的表,例如member_copy。 在主集群执行如下操作: 执行CopyTable的命令拷贝表。 hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=xxxxxx] [--endtime=xxxxxx] --new.name=member_copy --peer.adr=server1,server2,server3:2181:/hbase [--families=myOldCf:myNewCf,cf2,cf3] TestTable starttime/endtime为待拷贝数据的时间戳。 new.name为备集群中目的表的表名,默认为和原来表名相同。 peer.adr为备集群zookeeper节点的信息,格式为quorumer:port:/hbase。 families为待拷贝的表的family列。 如果是拷贝数据到远端集群,此种方式导入数据会在主机群上提交MapReduce任务,读取原始表的全量/部分数据之后采用put的方式写入远端集群,所以如果表的数据量很大(远程拷贝不支持bulkload),则效率会比较低。
-
Replication Replication备份是在HBase上建立主备集群的容灾关系,当数据写入主集群,主集群通过WAL来主动push数据到备集群上,从而达到主备集群的实时同步。详情请参考http://hbase.apache.org/2.2/book.html#_cluster_replication。 该方式数据备份的优点: 使用replication有别于其他几种数据备份导入方式,当配置了集群间的主备关系后,数据可以实时同步(无需人为操作)。 相对而言,“备份”的动作占用集群的资源较少,对集群的性能影响小。 数据同步可靠性较高,如果备集群停止一段时间后再恢复,这中间主机群的数据依然会同步到备集群。 该方式数据备份的缺点和限制: 如果客户端写入的数据设置不写WAL,则数据无法备份到备集群。 由于占用的资源少,后台是通过异步的方式同步数据,实际数据没有实时同步。 对于开启表replication同步之前,主集群就已经存在的数据无法同步,需要借助其他方式导入的备集群。 bulkload方式写入到主集群的数据无法同步( MRS 上的HBase对replication做了增强,支持bulkload on replication)。 具体的使用和配置方法请参考配置HBase备份和使用ReplicationSyncUp工具来进行备份数据。
-
Offline backup of HDFS data 离线备份HDFS数据,即关闭HBase服务并手工在HDFS上拷贝数据。 该方式数据备份的优点: 可以把主集群上所有数据(包含元数据)整个复制到备集群。 由于是通过Distcp直接拷贝的,所以数据备份的效率相对较高。 实际操作时可以根据具体的需求灵活拷贝,可以只拷贝其中一个表的数据,也可以拷贝region中的其中一个HFile等。 该方式数据备份的缺点和限制: 此操作会覆盖备集群上的HDFS的数据目录。 如果主备集群间的HBase版本不同,HDFS目录直接拷贝可能会出现问题,例如MRS上的hbase1.3版本新增了系统表index,如果使用老版本的HDFS目录直接覆盖,会找不到该数据表。所以此种方案在执行前需要慎重考虑。 此操作对用户使用HBase的能力有一定的要求,如出现异常情况需要根据实际情况执行恢复。 在主集群执行如下操作: 执行如下命令将当前集群内存中的数据持久化到HDFS中。 flush 'tableName' 停止HBase服务。 使用distcp命令拷贝当前集群HDFS上的数据到备集群上。 hadoop distcp -i /hbase/data hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase hadoop distcp -update -append -delete /hbase/ hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase/ 第二条命令为增量拷贝除了data目录以外的文件,例如archive里面的数据可能还有被数据目录所引用。 在备集群执行如下操作: 重启HBase服务,使数据迁移生效。在启动过程中,HBase会加载当前HDFS上的数据并重新生成元数据。 启动完成后,在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta -fixAssignments 命令执行完成后,重复执行如下命令查看HBase集群健康状态直至正常。 hbase hbck 当用户使用了HBase协处理器,自定义jar包放在主集群的regionserver/hmaster上时,在备集群重启HBase之前,需要把这些自定义jar包也拷贝过来。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格