检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
OBS是否支持批量删除对象或清空桶? OBS管理工具批量删除功能的支持情况: 表1 OBS管理工具批量删除功能 工具 批量删除 管理控制台 支持,一次批量删除的对象数最多为100个,如果选择文件夹,只能单个删除文件夹。 详情请参见删除对象或文件夹。 还可以使用生命周期规则批量删除
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。 假设源桶bucket-src内包含如下对象: obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1/src2/
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。
配置生命周期规则 操作场景 本章节将介绍如何配置生命周期规则。 约束与限制 生命周期规则目前仅支持根据前缀和对象标签进行匹配,不支持通配符匹配、后缀匹配以及正则匹配。 单个桶的生命周期规则条数没有限制,但单个桶中所有生命周期规则的XML描述总大小不能超过20KB。 您最多可以在一
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致资源被自动删除。自动续费的规则如下所述: 以资源包的到期日计算第一次自动续费日期和计费周期。 资源包自动续费周期以您选择的续费时长为准。例如,您选择了3个月,资源包即在每次到期前自动续费3个月。 在资源包到期前
OBS服务环境搭建(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。
自定义函数开发规范 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数
分段上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。
恢复失败状态的工作流实例 功能说明 当且仅当一个工作流实例是执行失败状态才能执行恢复操作。恢复后,工作流实例将从上次失败的状态处继续执行,而已经执行过的状态不会再执行。 方法定义 WorkflowClient.restoreFailedWorkflowExecution(executionName
桶相关接口(Go SDK) 桶相关接口说明(Go SDK) 创建桶(Go SDK) 获取桶列表(Go SDK) 判断桶是否存在(Go SDK) 删除桶(Go SDK) 列举桶内对象(Go SDK) 列举桶内多版本对象(Go SDK) 获取桶元数据(Go SDK) 获取桶区域位置(Go
设置桶策略 功能介绍 该接口的实现使用policy子资源创建或者修改一个桶的策略。如果桶已经存在一个策略,那么当前请求中的策略将完全覆盖桶中现存的策略。单个桶的桶策略条数(statement)没有限制,但一个桶中所有桶策略的JSON描述总大小不能超过20KB。 要使用该接口,使用
列举失败结果清单文件 功能说明 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls
通过临时访问密钥访问OBS 临时访问密钥 OBS可以通过IAM获取临时访问密钥(临时AK,SK和securitytoken)进行临时授权访问。通过使用临时AK,SK和securitytoken,您可以为第三方应用或IAM用户颁发一个自定义时效和权限的访问凭证。 您可以通过调用IA
其他高频问题汇总(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 SignatureDoesNotMatch签名不匹配 1 2 HTTP Code: 403 Error Code: SignatureDoesNotMatch
桶相关接口(Harmony SDK) 创建桶(Harmony SDK) 获取桶列表(Harmony SDK) 判断桶是否存在(Harmony SDK) 删除桶(Harmony SDK) 列举桶内对象(Harmony SDK) 列举桶内多版本对象(Harmony SDK) 获取桶元数据(Harmony
Presto对接OBS 概述 Presto分为prestoSql(现更名为Trino)和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版,下述对接步骤以prestoSql-333版本为例(从prestoSql-332版本开始Presto服务端必须使用JDK