检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取指定桶中对象的访问权限。 初始化分段上传任务 ObsClient.initiateMultipartUpload 在指定桶中初始化分段上传任务。 上传段 ObsClient.uploadPart 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。 复制段 ObsClient
初始化分段上传任务 使用分段上传方式传输数据前,必须先通知OBS初始化一个分段上传任务。该操作会返回一个OBS服务端创建的全局唯一标识(Upload ID),用于标识本次分段上传任务。您可以根据这个唯一标识来发起相关的操作,如取消分段上传任务、列举分段上传任务、列举已上传的段等。
可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠 父主题: 安全
自动设置每个分段任务的段大小。 [9MB, 100MB] defaultParallels 可选 每个分段任务的最大并发数,默认为5。 可参照obsutil性能调优最佳实践进行配置 defaultJobs 可选 批量任务的最大并发数,默认为5。 说明: 批量任务包含上传文件夹、下
分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java SDK) 父主题: 上传对象(Java
如果您仅选择中国大陆,所有用户的访问都会被调度到中国大陆的CDN节点,加速域名还需要到工信部备案,详见备案流程。 全球 中国大陆境外 如果您仅选择中国大陆境外,所有用户的访问都会调度到中国大陆境外的节点,此时不需要到工信部备案。 全球 如果您选择全球,全球各地用户的访问都会调度到附近最优的CDN节点
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS
count 成功的任务数。 Failed count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败
count 成功的任务数。 Failed count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败
初始化分段上传任务 使用分段上传方式传输数据前,必须先通知OBS初始化一个分段上传任务。该操作会返回一个OBS服务端创建的全局唯一标识(Upload ID),用于标识本次分段上传任务。您可以根据这个唯一标识来发起相关的操作,如取消分段上传任务、列举分段上传任务、列举已上传的段等。
9-b23a-64023b1e0c34.txt,任务号(TaskId)就是 fbbc83e3-98ac-4d19-b23a-64023b1e0c34。 如果成功/失败/警告的个数为零,则不会产生对应的结果清单文件。 结果清单的任务号是每次运行生成的唯一标识号。 单个结果清单文件最
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限
分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient.initiateMultipartUpload)。 逐个或并行上传段(ObsClient.uploadPart)。 合并段(ObsClient.completeMultipartUpload)或取消分段上传任务(ObsClient.
OBS如何实现备份和容灾? OBS的数据冗余存储方式是什么? OBS的持久性和可用性如何? 更多 obsutil等工具相关 如何配置obsutil定时任务? 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsfs挂载并行文件系统失败
count 成功的任务数。 Failed count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 分段复制是分段上传的一种特殊情况,即分段上传任务中的段通过复制OBS指定桶中现有对象(或对象的一部分)来实现。您可以通过copy_part来复制段,参数描述如下表: 字段名 类型 约束 说明
分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient.InitiateMultipartUpload)。 逐个或并行上传段(ObsClient.UploadPart)。 合并段(ObsClient.CompleteMultipartUpload)或取消分段上传任务(ObsClient.
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
count 成功的任务数。 Failed count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败