检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
空间利用率仅33%,单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及
移动应用直传方案概述 在互联网中,使用OBS作为存储在移动APP(手机Android、iOS应用)中获得了越来越广泛的应用。Android和iOS应用使用OBS服务时,不能直接存储访问密钥(AK/SK),这样可能会导致访问密钥(AK/SK)被黑客软件破解获取,进而可能导致存放在云存储中的文件数据被窃取,甚至被篡改。
修改对象元数据 功能介绍 用户可以通过本接口添加、修改或删除桶中已经上传的对象的元数据。 请求消息样式 1 2 3 4 5 6 7 8 PUT /ObjectName?metadata HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud
OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案 搬迁方式 适用数据量 要求 耗时 费用 OBS工具方式 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
Service,DNS) 使用自定义域名托管静态网站 自定义域名绑定 通过CDN加速访问OBS OBS可以作为其他云服务的存储资源池,例如关系型数据库(Relational Database Service,RDS),镜像服务(Image Management Service,IMS),云审计服务(Cloud
在ECS上通过内网访问OBS方案概述 应用场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。
使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安全、经济、易管理的数据保护解决方案。 购买方式: 进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。 父主题: OBS数据迁移
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
数据稳定,业务可靠:OBS支撑手机云相册,数亿用户访问,稳定可靠。通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据持久性高达99.9999999999%,业务连续性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
Code萃取丰富上云成功实践,提供一系列基于华为云可快速部署的解决方案,帮助用户降低上云门槛。同时开放完整源码,支持个性化配置,解决方案开箱即用,所见即所得。 表2 Solution as Code一键式部署类最佳实践汇总 一键式部署方案 说明 相关服务 CDN下载加速 该方案可以自动将存储在OBS中的数据按需
存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息,或在方案使用过程
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS
使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安全、经济、易管理的数据保护解决方案。 购买方式: 进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。 父主题: OBS数据迁移
Browser时出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置 >