检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
空间利用率仅33%，单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题，华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力，以及
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离，资源利用率高 GPU/NPU算力和SFS
方案概述 在互联网中，使用OBS作为存储在移动APP（手机Android、iOS应用）中获得了越来越广泛的应用。Android和iOS应用使用OBS服务时，不能直接存储访问密钥（AK/SK），这样可能会导致访问密钥（AK/SK）被黑客软件破解获取，进而可能导致存放在云存储中的文件数据被窃取，甚至被篡改。
方案概述 应用场景 某企业基于弹性云服务器（Elastic Cloud Server，ECS）构建好基础的业务后，随着数据增长，硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后，决定将OBS作为数据存储资源池，以减轻服务器负担。 在E
签名计算工具 OBS提供可视化签名计算工具，帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
ModelArts费用：详见ModelArts计费说明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
以上传对象为例，对一个对象或者段的每一次操作都会计算一次请求次数。假设上传一个拥有100个对象的文件夹： 在都使用PutObject方式上传的情况下，会发送100次PUT请求，计算100次请求次数。 如果其中有一些大对象需要分段上传，则会根据分成的段数额外计算分段上传的请求次数，此外还会有初始
的海量存储系统，结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云，通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算，分析计算产生的数据和计算结果存储到OBS中，其中上传到华为云的基因数据自动转为低
地文件一样操作对象，实现数据的共享。 为帮助企业高效上云，华为云Solution as Code萃取丰富上云成功实践，提供一系列基于华为云可快速部署的解决方案，帮助用户降低上云门槛。同时开放完整源码，支持个性化配置，解决方案开箱即用，所见即所得。 表2 Solution as Code一键式部署类最佳实践汇总
使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务，将本地数据备份或迁移到云，提供安全、经济、易管理的数据保护解决方案。 购买方式： 进入华为云市场，搜索AnyBackup Cloud，根据场景选择适合自己业务的备份方案。 父主题： OBS数据迁移
K数据集至OBS，详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。
Turbo的存储加速方案的过程中，您可以进行采取以下运维措施，保证系统正常高效运行： SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息，或在方案使用过程
涉政等违法违规内容，OBS和第三方平台（微信/支付宝/百度等）检测到后会封禁此资源。第三方平台在封禁此资源的同时，会将OBS域名列为不信任域名，导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台，如微信/支付宝/百度等平台或小程序使用OBS的用户，建议使用自定义域名访问OBS资源，避免封禁。
专属对象存储 专属云 专属云（Dedicated Cloud）是面向企业、政府、金融等客户，提供计算、存储资源池以及网络、管控多级隔离的综合解决方案。租户独享专属资源池，与公共租户资源物理隔离，满足特定性能、应用及安全合规等要求，为客户提供可靠、便捷的云上“头等舱”。 专属对象存储
使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务，将本地数据备份或迁移到云，提供安全、经济、易管理的数据保护解决方案。 购买方式： 进入华为云市场，搜索AnyBackup Cloud，根据场景选择适合自己业务的备份方案。 父主题： OBS数据迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
