检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 DES磁盘方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。 创建DES磁盘方式服务单 登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心。
在该场景下本地文件不一定对应原始OBS文件,在这个例子中,本地TEST\foo.txt 是云上TEST/FOO.txt,而非test/foo.txt,这个因下载成功顺序而导致结果不同。
SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,其他事情都要依靠上层的应用程序实现。
3 数据EC冗余存储,利用率高,成本低 对象存储服务OBS支持利用率最高的分布式数据容错技术Erasure code,磁盘利用率大幅提升,数据存储空间需求远低于三副本。
数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案
逻辑架构 此处以使用Commvault备份本地单节点部署的SAP HANA为例,其逻辑架构如图1所示。
s3fs在进行读写时,默认会使用一部分本地目录空间作为临时数据缓存用来提高性能。 建议选择磁盘目录,而不是共享内存目录。 说明: 可使用df -h 命令来查询目录类型及容量使用情况。
定时上传 OBS Browser+ 提供强大的定时上传功能,您可以将本地磁盘或目录中的一个或多个文件周期性的上传到目标桶的对应路径下。 首先进入定时上传页面,单击“立即上传”,进入到“创建定时上传”页面。
列举接口是否支持保存结果到本地文件 obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作)
OBS_CDM方式 数据快递服务(Data Express Service,DES) 搬迁本地数据至OBS_DES磁盘方式 搬迁本地数据至OBS_DES Teleport方式 云专线(Direct Connect,DC) 搬迁本地数据至OBS_云专线方式 在ECS上实现通过华为云内网访问
flume日志配置 为了减少日志输出,在/opt/apache-flume-1.9.0-bin/conf/log4j.properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区
下载一个对象名较长的对象到本地后,对象名称改变 问题: 使用OBS管理控制台下载一个对象名较长的对象到本地后,为什么对象名称发生了改变? 原因: Windows操作系统下允许的文件名长度最大为255字符,包括文件名和扩展名在内。
配置解析CNAME:实现OBS桶域名和自定义域名的映射。 具体请参见通过自定义域名访问桶。 父主题: 域名管理
fmt.Println(err) } } 步骤二:上传对象 以下示例展示了上传本地文件localfile到examplebucket桶中,并将对象名设置为objectname。
磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。 如果问题未能解决,请将obsutil升级到最新版本再进行下载。
可能原因为数据已经下载完成,但是在写入磁盘时产生排队现象,造成显示下载变慢的假象,请客户排查客户端的写入速率等问题。 父主题: OBS Browser+和obsutil等工具相关
桶ACL访问权限和桶策略动作的映射关系如表1所示。
采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。
当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。
同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。 同步上传时,请确保本地文件或文件夹在同步过程不发生变化,否则可能产生同步失败或者数据不一致的问题。