检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每月大于100TB的数据量,需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 OBS工具方式 OBS工具方式适用于百GB规模的数据搬迁。OBS提供OBS Browser+、obsutil等多种客户端工具,方便用户在本地直接将数据上传至
工作负载。您可以按照标准的OBS接口读取并行文件系统中的数据,也可以利用obsfs工具将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理。 支持的区域请参见功能总览。 × √ 日志管理 您可以通过日志管理功能获取桶
约束与限制 由于FTP协议为明文传输,为了数据的安全性建议将obsftp工具和FTP Client运行在同一台主机上,通过127.0.0.1:port地址来访问规避FTP协议的不安全性。 工具包需要解压在以ASCII码支持的字符(即英文与数字、_等)组成的目录下。 obsftp对运行环境中的Python版本要求为2
一定时间后转化为低频访问存储,归档存储或者删除。 为了存档目的而向OBS上传的某些类型的数据,包括数字媒体存档、金融和医疗记录、原始基因组序列数据、长期数据库备份以及为符合监管要求而必须保留的数据。 一次性删除桶中的大量文件。手动删除对象费时费力,且有数量限制。在桶中配置一条生命
启动OBS Browser时出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置
基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名在线预览桶内对象,即使用分享链接从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。解决方案请参考:如何在浏览器中在线预览OBS中的对象? 父主题: 对象操作
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。 对接步骤 配置Druid。 修改配置: conf/druid/sing
OBS是否支持断点续传功能? OBS管理工具断点续传功能的支持情况: 表1 OBS管理工具断点续传功能 OBS管理工具 断点续传功能 管理控制台 不支持 OBS Browser+ 支持 obsutil 支持 参考文档:利用obsutil进行断点续传 SDK 支持 使用SDK的断点
OBS是否支持批量上传文件? OBS管理工具批量上传功能的支持情况: 表1 OBS管理工具批量上传功能 工具 批量上传 管理控制台 OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。详见上传文件。 OBS Browser+ 支持上传多个文件或
选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。 对象状态为恢复中的对象不能再次恢复。 工具中的“删除”功能只是删除本地任务数据。 父主题: 任务管理
obsfs简介 obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Servic
单击“复制链接”,并将该链接分享给其他用户,用户可以在浏览器中通过此链接直接访问该对象。 通过浏览器访问对象,会强制下载对象,如果您希望被分享人可以在线预览对象,请参见如何在浏览器中在线预览OBS中的对象? 单击“复制路径”,并将该路径分享给拥有对象所在桶权限的用户,用户可以在对应桶的对象列表页中部的对象搜
通过OBS SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java、Python、Go三种SDK为例,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
是否支持同步删除文件 不支持;当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上传
入门实践 当您完成了创建桶、上传对象和下载对象等基本操作后,可以根据自身的业务需求使用OBS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据安全 安全最佳实践 本最佳实践提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档
批量删除对象(Python SDK) 功能说明 为节省空间和成本,您可以根据需要删除指定桶中的多个对象。 OBS本身没有文件夹概念,桶中存储的元素只有对象。工具和控制台看到的目录实际上是一个大小为0且对象名以“/”结尾的对象。删除文件夹需列举目录前缀下的所有对象再调用批量删除接口。 批量删除对象特
请求次数是如何计算的? 通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD/LIST等,例如下载对象、获取桶区域位置、获取桶策略、列举对象。
请求费用 通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取。 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD
obs.cn-north-4.myhuaweicloud.com/objectname 您可以自己拼接,或通过以下工具方式获取: 表1 对象URL获取方式 工具 对象URL 管理控制台 单击对象,从对象属性中copy获取到对象URL访问路径。 OBS Browser+ 单击对象