检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Browser+的语言切换。 支持设置工具的代理。 任务管理 任务管理器主要是对批量任务的执行状态进行展示,并提供暂停、删除、运行、查找等基本操作。 支持查看运行任务的实时运行情况,包括进度,耗时等。 支持批量暂停,删除任务和批量重试等。 已完成任务、失败任务支持按任务类型查询。 失败任务支持自动重试。
properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site.xml文件中增加配置:
是否支持同步删除文件 列举接口是否支持保存结果到本地文件 列举桶内对象返回的大小与控制台桶内对象大小不一致 批量任务执行失败如何确认错误信息 i/o timout、EOF错误原因定位及解决 批量任务进度条中出现问号的原因 是否支持多个config文件在同一个目录下 Windows操作系统下,下载对象时发现本地和云上对象数量不一致
√ √ × √ 异步化接口 N/A × × × √ √ × 支持批量恢复对象 N/A × × × × × × 支持批量下载对象 N/A × × × × × × 支持批量上传对象 N/A × × × × × × 支持批量复制对象 N/A × × × × × × 数据传输支持进度条 p
d参数指定的是obsutil任务的全局限速,这意味着当使用cp、sync等命令进行批量文件的上传/下载时,最终的实际上传/下载速度上限仍然为rateLimitThreshold指定的阈值而不是批量任务的并发任务数*rateLimitThreshold。 父主题: 最佳实践
提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 您可以按照标准的OBS接口读取并行文件系统中的数据,也可以利用obsfs工具将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理。
登录OBS Browser。 选中待配置的桶,选中待删除的文件或文件夹后,单击右侧“更多>删除”。 客户端支持批量删除,选中多个文件或文件夹,单击列表上方的“删除”即可批量删除。 在消息确认框中单击“确定”。 父主题: 对象管理
设置单个对象属性时生成结果清单文件。 f 附加参数,批量设置对象属性时可选 强制操作,不进行询问提示。 r 附加参数,批量设置对象属性时必选 按指定的对象名前缀批量设置对象属性。 v 附加参数,批量设置对象属性时可选 按指定的对象名前缀批量设置多版本对象属性。 o 附加参数,可选 生成
"objectname"); ObsObject obsObject = obsClient.getObject(request); // 读取对象元数据 System.out.println(obsObject.getMetadata().getContentType()); System
ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: # 读取文件流 content = open('localfile', 'rb') bucketName = "examplebucket"
该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量复制时必选 按指定源桶的对象名前缀批量复制对象。 f 附加参数,批量复制时可选 强制操作,不进行询问提示。 j 附加参数,批量复制时可选 批量复制时的最大并发数,默认为配置文件中的defaultJobs。 说明:
WriteLine("ErrorMessage: {0}", ex.ErrorMessage); } 批量删除对象 您可以通过ObsClient.DeleteObjects批量删除对象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。
obsClient.deleteObject("bucketname", "objectname"); 批量删除对象 您可以通过ObsClient.deleteObjects批量删除对象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。
区与终端节点。 断点续传上传接口传入的文件大小至少要100K以上。 使用SDK的断点续传接口时,必须开启断点续传选项后才能在进程再次进入时读取上一次上传的进度。 方法定义 obsClient.uploadFile(UploadFileRequest request) 请求参数说明
可以深入分析访问该桶的用户请求性质、类型或趋势。 当用户开启一个桶的日志记录功能后,OBS会自动对这个桶的访问请求记录日志,并生成日志文件写入用户指定的桶(即目标桶)中。 日志文件存放位置需要在开启桶日志功能时指定,可以存放到您拥有的,且与开启日志功能的桶位于同一区域的任一存储桶,当然也包括开启日志功能的桶本身。
ucket/data/sample CDM方式迁移 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移
常见问题 SDK是否支持批量上传、下载或复制对象?
getObject返回一个ObsObject实例,该实例包含对象内容及其属性。 调用ObsObject.getObjectContent获取对象输入流,可读取此输入流获取其内容,用完之后请关闭这个流。 更多下载对象的信息,请参见下载对象。 父主题: 快速入门
obsutil 支持 参考文档:利用obsutil进行断点续传 SDK 支持 使用SDK的断点续传接口时,必须开启断点续传选项后才能在进程再次进入时读取上一次上传的进度,具体设置方法请参考对应语言的SDK文档。 Java上传 Java下载 Python上传 Python下载 C上传 C下载
追加上传的内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB。 如果上传的对象权限设置为匿名用户读取权限,对象上传成功后,匿名用户可通过链接地址访问该对象数据。对象链接地址格式为:https://桶名.域名/文件夹目录层级/对象名。如果该