检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
Log4j2开源库提供了日志功能,Log4j2框架按照优先级将日志进行了分级处理,您可以配置存储某个级别以上的日志,自行决定存储日志的范围。 OBS Java SDK默认将WARN及WARN以上级别的日志保存到本地。 配置日志存放路径 否 配置日志在本地的存储路径。 父主题: 初始化(Java SDK)
获取桶存量信息 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 桶存量信息包括桶的空间大小以及桶包含的对象个数。您可以通过ObsClient.getBucketStorageIn
ue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.setBucketLogging开启桶日志功能。 日志目标桶与源桶必须在同一个区域(region)。 如果桶的存储类型为低频访问存储或归档存储,则不能作为日志目标桶。
直读归档存储对象 使用场景 实际业务场景下,您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求,需要急速读取归档数据;或者在OBS与其他系统对接的情况下,因接口兼容问题,需要直接读取归档数据。 桶开启归档数据直读后,存储类别为归档存储的对象可以直接访问,无需提前恢复。开启直
跨域资源共享简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 跨域资源共享(CORS)允许Web端的应用程序访问不属于本域的资源。OBS提供接口方便开发者控制跨域访问的权限。 更多关于跨域资源共享的内容请参考跨域资源访问。
所需数据至终端用户B。 方案优势 OBS安全、高可靠且低成本,可以节省存储费用。 通过分布在各个区域的CDN节点,将音视频内容扩展到距离终端用户较近的地方,用户可以享受更加流畅的点播体验。 华为云CDN与华为云OBS通过内网连接,节省带宽费用。 综上,客户可以通过更低的费用,为终端用户提供更加优质的视频点播服务。
每次追加上传的长度不能超过对象长度上限5G的限制。 每个Appendable对象追加写次数最多为10000次。 如果对象存储类型为COLD(归档存储)或DEEP_ARCHIVE(深度归档存储),则不能调用该接口。 如果桶设置了跨区域复制配置,则不能调用该接口。 并行文件系统不支持追加写对象。 对
文件下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 以下代码展示了如何进行文件下载: // 创建ObsClient实例 var obsClient = new ObsClient({
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
availableZone str 可选 参数解释: 创桶时可指定的数据冗余类型,即AZ类型。 约束限制: 归档存储和深度归档存储不支持多AZ。如果桶所在区域不支持多AZ存储,则该桶的存储类型默认为单AZ。 取值范围: 如果将桶配置为多AZ,则取值为3az。如果将桶配置为单AZ,则无需选择此选项,系统默认赋值。
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密
数据冗余存储策略 多AZ存储 多AZ存储:数据存储至同区域内的多个可用区(AZ),可靠性更高,同时存储成本相对更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 桶创建成功后,不支持更改数据冗余存储策略。 多AZ存储桶不支持为桶设置归档存储类别和深度归档存储类别。 存储类型
用的账号为华为账号而非华为云账号,当前由于IAM不支持通过华为账号获取账号Token,因此无法通过华为账号直接登录OBS Browser+。 华为账号登录Browser+的解决方案如下: 直接使用AK、SK进行登录,具体可以参考永久AK方式登录。 使用华为账号登录华为云控制台,并
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
桶存储类型 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存
桶存储类型 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持保存一个对象的多个版本,您可以利用多版本控制,在一个桶中保留多个版本的对象。 多版本功能可以方便地检索和
OBS上传下载速率的影响因素有哪些? 影响OBS上传下载速率的因素有: 单个华为云账号默认的OBS读写带宽(GET请求带宽与PUT请求带宽的总和)上限是16Gbit/s(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤