检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时，公网方式响应速度会因为网络质量而受到影响，读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支，企业管理者希望通过内网的方式访问OBS。 当通过内网访问OBS时，需要确保待访问的OBS资源与ECS属于同一个区域，例如都在
存储中的文件数据被窃取，甚至被篡改。 为了更好地保护应用数据，避免被攻击后数据泄露以及越权访问的风险，为您推荐以下两种方法。 方法一：使用临时安全凭证直传OBS 方法二：使用预签名URL访问OBS 方法一使用临时的AK/SK，可以避免AK/SK泄露的风险。推荐您优先使用临时安全凭证直传OBS。
文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展，对数据价值的认识逐渐加深，大数据已经融入到了各行各业。根据相关调查报告数据显示，超过39.6%的企业正在应用大数据并从中获益；超过89.6%的企业已经成立或计划成立相关的大数据分析部门；超过六成的企业在扩大大数据的投入力度。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景，向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景：PB级的数据存储，批量数据分析，毫秒级的数据详单查询等 历史数据明细查询的典型场景：
K数据集至OBS，详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS
Storage Service）常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题，华为云提供了基于对象存储服务OBS+高性能文件服务SFS
之间进行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。
在OBS控制台配置自定义域名开启CDN加速后，或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后，访问OBS桶中对象无法在线预览，变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一： 登录CDN控制台的“域名管理”界面，在相应域名的“高级配置”中添加“Content-Disposition”响应头，取值为“inline”。
BS支持的ContentType类型请参见对象元数据Content-Type介绍。 您可以通过管理控制台、API和SDK来设置对象元数据ContentType。 （可选）如果仍然不能在线预览，参考解决方案中“方案一”进行配置后再试。 方案三：CDN私有桶回源方式访问 方案优劣势及约束限制说明
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
减少因误操作导致的数据丢失风险 华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据。为了避免误删操作导致业务无法正常运行，本文提供了几种规避方式，您可结合自身业务选择合适的方案。 以下建议并不等同完整的安全解决方案，可能不适合您的环境或不满足您的环境要求，
迁移第三方云厂商数据至OBS的方案如下，了解更多详见迁移第三方云厂商数据至OBS最佳实践： 表2 迁移方案 迁移方式 适用场景 支持的迁移源端 迁移速率 费用 OMS方式 适用于大规模对象数据（500TB以下）全量或增量迁移场景。 请参见OMS支持迁移的第三方云厂商 10~20TB/天
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。 云存储定位于简单、
使用账号登录时，界面提示“获取用户的Token失败” 在使用OBS Browser+过程中，如果使用账号登录时提示“获取用户的Token失败”，原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例，步骤如下： 进入系统页面，路径为“Windows
口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.createBucket创建桶。 带参数创建 创建桶时可以指定桶的访问权限、存储类型和区域位置。OBS支持的桶的存储类型有三类，参见桶存储类型。示例代码如下： // 认证用的ak和sk硬编码到代码中或者
服务韧性 OBS提供五级可靠性架构，通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案，保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。 图1 五级可靠性架构保证数据稳定，业务可靠
示例代码常见问题 v3.23.9版本反映的常见示例代码问题 问题1： 找不到put_file_object_callback_data 代码 解决方案： 3.23.9版本中示例代码部分变量或函数缺失，可以在eSDK_OBS_API_C++_Demo中查找对应的定义，然后复制到业务代码中调用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
