检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。
如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
方案架构 在已搭建的ECS上通过配置内网DNS,由内网DNS解析OBS域名,即可实现在ECS上经由内网访问OBS。访问过程示意图如图1所示。
方案概述 在互联网中,使用OBS作为存储在移动APP(手机Android、iOS应用)中获得了越来越广泛的应用。
obsutil支持通过在配置文件.obsutilconfig中配置rateLimitThreshold参数实现对上传/下载操作进行限速,参数具体描述可参考配置参数说明;默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带宽及上传/下载任务的并发配置,具体调优方案可以参考
如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据持久性高达99.9999999999%,业务连续性高达99.995%,远高于传统架构。
使用自定义域名托管静态网站 本章节详细描述了在OBS上使用自定义域名托管静态网站的操作流程及步骤,无需搭建网站服务器,即可快速发布个人及企业静态网站。 OBS数据一致性校验 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。
用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台的“域名管理”界面,在相应域名的“高级配置”中添加“Content-Disposition”响应头,取值为“inline”。 如果执行完上述步骤后,访问.html静态网站文件仍然是下载,则需要在CDN控制台刷新缓存。
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。
数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案
使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安全、经济、易管理的数据保护解决方案。 购买方式: 进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。
(可选)如果仍然不能在线预览,参考解决方案中“方案一”进行配置后再试。 方案三:CDN私有桶回源方式访问 方案优劣势及约束限制说明 该方案不需要将桶设置为公共读,可用私有桶实现。 该方案不需要配置OBS自定义域名,仅需在CDN配置加速域名。
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可靠性。 图1 五级可靠性架构保证数据稳定,业务可靠 父主题: 安全
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
使用该解决方案,会对一些软件使用存在冲突。 父主题: 常见问题
示例代码常见问题 v3.23.9版本反映的常见示例代码问题 问题1: 找不到put_file_object_callback_data 代码 解决方案: 3.23.9版本中示例代码部分变量或函数缺失,可以在eSDK_OBS_API_C++_Demo中查找对应的定义,然后复制到业务代码中调用