检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。 在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,公网方式响应速度会因为网络质量
ransition规则时的处理: 如果对象的最新版本是deletemarker,则这个版本不被迁移; 如果最新版本不是deletemarker,且该对象满足迁移条件,则这个版本会被迁移。 表2 生命周期配置元素 名称 描述 是否必选 Date 指定OBS对该日期之前的对象执行生命
面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS
公共可访问的源端地址。 类型:Container 否 master 主源端地址。如果源端为HTTP公共可访问的桶,则此地址为桶域名地址。如果源端为其他云厂商的私有桶,则此地址为区域域名地址。 类型:Array 有效取值:单个源站地址格式为https|http://xxx.yyy.zzz,长度为[10
Access Key)包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,是您的长期身份凭证,您可以通过访问密钥对API的请求进行签名。华为云通过AK识别访问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 当您使用OBS提供的API进
在左侧导航选择“资金管理 > 充值”。 根据界面提示信息,为账号充值。 包年包月 对象存储服务同时提供包年包月计费模式,您可以购买包年包月套餐,提前规划资源的使用额度和时长。 资源包包括标准存储包(单AZ)、标准存储包(多AZ)、归档存储包、公网流出流量包、跨区域复制流量包和回源流量包。
您在创建桶时需要根据业务所在区域严格对应。如果桶所在的区域与资源包的区域不一致,希望要将原业务桶中的数据迁移到资源包对应区域下的新桶中,您可以参考配置跨区域复制实现异步数据迁移,或通过obsutil工具进行复制对象。 父主题: 计费相关
0及以上的桶支持此方案。 桶版本号可以在OBS控制台上,进入桶概览页面后,在“基本信息”中查看。 资源与成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 必选 OBS:存放图片、软件包等静态资源的桶,存储类别为“标准存储”或“低频访问存储”
快速构建基于静态内容的网站,简化建站流程,降低运营成本。 无需搭建服务器,静态网站轻松上线。 资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划说明 资源 资源说明 成本说明 OBS 需要创建一个OBS桶用于存放静态网站文件,同时在OBS桶上完成静态网站托管配置和自定义域名绑定。
IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予OBS所需的权限,组内用户自动继承用户组的所有权限。 使用策略控制账号下整个云资源的权限时,使用IAM权限授权。
快速构建基于静态内容的网站,简化建站流程,降低运营成本。 无需搭建服务器,静态网站轻松上线。 资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划说明 资源 资源说明 成本说明 OBS 需要创建一个OBS桶用于存放静态网站文件,同时在OBS桶上完成静态网站托管配置和自定义域名绑定。
什么是对象存储服务 对象存储服务简介 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,
据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS
如果没有date,days,noncurrent_version_transition或者noncurrent_version_days,则必选 生命周期配置中表示迁移时间和迁移后对象存储级别的元素(仅针对对象的最新版本)。 transition->date const char * 如果transition存在且没有transition
取值范围:WARM或COLD 父节点:Transition, NoncurrentVersionTransition Transition 生命周期配置中表示迁移时间和迁移后对象存储级别的元素(仅针对对象的最新版本) 类型:XML 子节点:Date或Days 父节点:Rule Expiration 生命周
可将OBS中的数据恢复到云上的灾备主机或测试主机。 同步客户端:适用于单数据库/程序场景,手工备份,成本最低 备份软件:适用于多应用、多主机场景,自动备份,兼容性强 云存储网关:可无缝嵌入本地已有的备份系统 数据快递:适用于海量数据归档场景,离线邮寄上云 建议搭配服务 数据快递服务
配置桶的CORS 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 由于OBS以桶为单位提供基于HTTP/HTTPS协议的分布式存储服务,而浏览器默认不允许Ajax跨域请求,因此使用OBS
访问OBS链接提示告警信息的原因和解决办法 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。