检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
收费方法请参见OMS计费说明。 镜像回源方式 适用于无缝迁移数据到OBS场景,即业务数据存储用户自己建立的源站,需要在不中断业务的情况下迁移到OBS上。 用户自己建立的数据源站 不涉及 由第三方云厂商收取数据读取费用,具体以第三方云厂商提供的价格为准。 场景三:OBS之间数据迁移
Storage Service,简称OSS)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。 腾讯云COS迁移至华为云OBS 本方案介绍了如何将腾讯云对象存储(Cloud Object Storage,简称COS)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。
fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/data/sample”目录下所有文件与目录迁移到OBS桶“obs-bigdata-posix-bucket”的“data/sample”目录下。 hadoop distcp hdfs:///data/sample
管理,通过任务管理可暂停、取消或删除任务。 如果已完成任务数量大于20万条,则系统会按照任务创建时间先后顺序查询10万条较早创建的数据,迁移到OBS Browser解压路径下history目录中,以historyDBData[时间戳].csv格式保存,如:historyDBData20170426T063744
vault官方文档。 使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安全、经济、易管理的数据保护解决方案。 购买方式: 进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。
obs.CloseLog() } 日志功能默认是关闭的,需要主动开启。 日志默认首先写入缓存(累积一定量后再写入文件),程序退出前调用obs.CloseLog()可同步缓存中的日志内容到日志文件。 日志内容格式 SDK日志格式为:日志时间|打印日志所在的文件:行号|日志级别|日志内容。示例如下:
// 关闭日志,同步缓存 obs.CloseLog() } 日志功能默认是关闭的,需要主动开启。 您可以从日志分析章节获取更多关于SDK日志的信息。 日志默认首先写入缓存(累积一定量后再写入文件),程序退出前调用obs.CloseLog()可同步缓存中的日志内容到日志文件。
对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS) 迁移第三方云厂商数据至OBS_OMS方式
提供的各种工具、API或SDK进行数据迁移。例如,如果希望将SFS中的数据迁移到OBS中,则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS(需要读写权限)。 OBS提供如表1所示的方式帮助用户迁移数据。请根据操
use_cache 参数解释: 用于本地文件缓存的地址,使用该参数后,IO性能会提升,但是磁盘占用会升高,可以和del_cache配合使用。 默认取值: ""(表示不使用缓存) del_cache 参数解释: s3fs进程在启动和退出时删除本地缓存文件。 默认取值: 无 dbglevel
buffer disk 否 写相关配置,所有数据在写入OBS前都会先缓存然后再上传到OBS,此参数用于设置缓存方式,取值范围: disk:缓存在磁盘 array:缓存在JVM堆内内存 bytebuffer:缓存在JVM堆外内存 fs.obs.buffer.dir ${hadoop
上传流对象时使用的缓存大小(单位:字节)。默认为512KB。 ObsConfiguration.setUploadStreamRetryBufferSize N/A readBufferSize 从Socket流下载对象的缓存大小(单位:字节),-1表示不设置缓存。默认为-1。 ObsConfiguration
找到需要创建自动刷新缓存的域名卡片,在“自动刷新缓存”的右侧单击“配置”,单击开启“自动刷新缓存”开关,出现配置页面。 图3 自动刷新缓存 配置自动刷新策略参数。 表1 事件触发器参数说明 参数 说明 事件 自动刷新策略生效的事件类型。目前,OBS支持以下事件类型: Object
为什么配置了跨域访问OBS(CORS)仍然报错? 首先请检查CORS规则是否配置正确,请参考配置桶允许跨域请求。 对于同一URL会缓存响应header,第一次简单请求不会带跨域头,就会缓存第一次的结果。第二次复杂请求再次访问此URL会取第一次响应结果,产生CORS。属于浏览器机制问题。 可以按如下方法解决,请选择一种方法尝试:
您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
在桶创建完成后,不支持修改桶所在的区域,因此请您在创建桶时需要根据业务所在区域严格对应。如果桶所在的区域与资源包的区域不一致,希望要将原业务桶中的数据迁移到资源包对应区域下的新桶中,您可以参考配置跨区域复制实现异步数据迁移,或通过obsutil工具进行复制对象。 父主题: 计费相关
参考为企业项目迁入资源,将目标桶example-001迁入步骤1中test-project的企业项目中。 如果需要授权多个桶,则将需要的桶都迁移到企业项目中即可。 图1 将目标桶迁入目标企业项目 选择“权限管理 ”。单击“用户授权”。 图2 为企业用户添加授权 进入IAM用户界面,找到目标用户test-user。
POST上传 功能介绍 上传对象操作是指在指定的桶内增加一个对象,执行该操作需要用户拥有桶的写权限。 同一个桶中存储的对象名是唯一的。 在桶未开启多版本的情况下,如果在指定的桶内已经有相同的对象键值的对象,用户上传的新对象会覆盖原来的对象;为了确保数据在传输过程中没有遭到破坏,用
例如,您需要将网站中的文件迁移到OBS,并且不想修改网页的代码,即保持网站的链接不变,此时可以使用自定义域名绑定功能。 发布区域:全部 如何绑定自定义域名? OBS 3.0支持 CDN加速 您使用CDN加速域名后,可配置网站加速、文件下载加速和点播加速。 CDN加速功能将存储在OBS中的数据缓存到终端