检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。
是 v3.22.2 新功能 新增虚拟桶相关接口。 对Python3 HTTPS参数的使用进行了兼容性更改。 是 低于v3.22.2（停止配套，EOM） - 版本过低，已停止维护，建议及时升级版本。
通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码，单击“确定”。 如果您已开启操作保护，需要通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码。 单击“立即下载”，浏览器下载访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。 父主题： 附录
通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码，单击“确定”。 如果您已开启操作保护，需要通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码。 单击“立即下载”，浏览器下载访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。 父主题： 常见问题
但是，如果客户端选择通过REST API自行开发程序对接OBS，则需要按照OBS定义的签名算法来计算签名并添加到请求中。 用户可以在“我的凭证”页面创建永久访问密钥（AK/SK）。 Access Key Id（AK）：访问密钥ID。
虚拟私有云（VPC） VPC主要负责为ECS构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云中资源的安全性，简化用户的网络部署。 子网是VPC中用来为ECS提供IP地址管理、DNS服务的一个网络，子网内ECS的IP地址都属于该子网。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。
并行文件系统 详见《并行文件系统特性指南》 访问规则 OBS基于DNS解析性能和可靠性的考虑，要求凡是携带桶名的请求，在构造URL的时候都必须将桶名放在domain前面，形成三级域名形式，又称为虚拟主机访问域名。
使用OBS Java SDK对接OBS服务可能会遇到许多问题，您可以通过下面介绍的步骤进行问题分析和定位： 确保使用的是OBS Java SDK的最新版本， 您可以从这里下载最新版本； 确保开启了OBS Java SDK日志功能，开启方式参见日志分析章节，通常建议的日志级别为WARN
初始化配置 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点地址（Endpoint）和访问密钥（AK和SK）。获得OBS的认证后，才能使用obsutil执行OBS桶和对象的相关操作。
登录验证 验证方式 由管理员开启登录验证，开启时必选 当前仅支持虚拟MFA登录验证。 重置虚拟MFA请参考如何解绑、重置虚拟MFA。 IAM子用户ID 由管理员开启登录验证，开启时必选 请输入IAM子用户ID。 查看IAM子用户ID请参考获取IAM用户的名称。
使用OBS BrowserJS SDK对接OBS服务可能会遇到许多问题，您可以通过下面介绍的步骤进行问题分析和定位： 确保使用的是OBS BrowserJS SDK的最新版本，您可以从这里下载最新版本； 确保使用OBS BrowserJS SDK的程序代码遵照OBS客户端通用示例编写
如有时间要求，需要急速读取归档数据；或者在OBS与其他系统对接的情况下，因接口兼容问题，需要直接读取归档数据。 桶开启归档数据直读后，存储类别为归档存储的对象可以直接访问，无需提前恢复。
VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
2 创建资源 创建VPC：创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。
登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。
此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。
403 Forbidden VirtualHostDomainRequired 未使用虚拟主机访问域名。 Host使用虚拟主机访问域名。 须知： 除获取桶列表之外的所有接口，都应当包含桶名。
暂不支持服务端加密 暂不支持跨区域复制 暂不支持多版本控制 暂不支持配置桶清单 暂不支持配置静态网站托管 暂不支持配置桶默认存储类型 不支持深度归档，支持标准、低频和归档 暂不支持专属对象存储场景 暂不支持DWR数据工坊对接 并行文件系统可以挂载至多个Linux服务器实现并行读，但不建议使用此方法并发写
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
