检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。 对接步骤 以logstash-7.10.2为例。 下载logstash-7
本节介绍在完成SDK的下载和安装后，如何快速上手使用OBS的基础功能，完成创建桶、上传下载对象、列举对象和删除对象。 入门准备 使用SDK管理OBS资源，您需要先完成以下几项准备工作： 使用前须知(Java SDK)：了解并选择合适的SDK版本。 使用前准备(Java SDK)：完成服务环境和开发环境准备。
使用OBS Browser上传文件时，出现蓝屏或黑屏现象 问题 为什么使用OBS Browser上传文件时，出现蓝屏或黑屏现象？ 回答 使用OBS Browser上传大量文件或少量大文件时，会占用较大的内存空间。请检查您PC机的内存剩余空间是否大于等于512MB，如果不足，请关闭
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击创建资源中创建的HPC型文件系统，进入文件系统详情页面。 进入页签“绑定后端存储”，单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中，填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
哪些类型的网站适合使用OBS进行静态网站托管？ 静态网站通常仅包含静态网页，以及可能包含部分可在客户端运行的脚本，如JavaScript、Flash等。 OBS支持静态网站托管。您可以通过OBS管理控制台将自己的桶配置成静态网站托管模式，当客户端通过桶的website接入点访问桶
logger.com.obs=ERROR 对接步骤 以Hadoop 3.1.1为例（建议使用最新的版本，不推荐使用低于2.8.3版本的hadoop与hadoop-huaweicloud配套使用）。 下载hadoop-3.1.1.tar.gz，并解压到/opt/hadoop-3.1
开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 跨域是指不同域名之间相互访问。跨域访问是浏览器出于安全考虑而设置的一个限制，即同源策略。 由于JavaScript同源策略的限制，
资源包是否必须购买？是否能指定给具体的桶使用？ 资源包并不是必须要购买的，即使您没有购买也可以使用OBS服务，此时计费模式采用按需计费。但是购买资源包后，资源包可以抵扣使用OBS所产生的费用，相比不购买资源包采用按需计费的方式更优惠，因此推荐您按实际业务购买对应的资源包。 当前资
上传段完成后，调用OBS服务端合并段接口，生成最终对象。 OBS SDK实现了OBS服务端分段上传需要使用的原子接口，可在各语言《SDK参考》的“分段上传”章节获取更多使用OBS SDK进行分段上传的介绍。 父主题： API和SDK等开发者相关
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 出现此种现象有两种场景。 场景一：文件夹中存在部分大对象和大量小对象。对于大对象，下载速度很快；对于大量小对象，下载速度主要受TPS影响。如果下载到90%后都是小对象，此时下载速度一定程度上可能会降低。 场景二：文
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。
您必须是并行文件系统拥有者或拥有截断对象的权限，才能截断对象。建议使用IAM或策略进行授权，如果使用IAM则需授予obs:bucket:PutObject权限，如果使用策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。 OBS支
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
