检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
如果设置的server不带协议类型，则默认使用HTTPS协议。 如果启用了长连接模式，使用完OBS客户端后必须调用ObsClient.close方法显式关闭，回收连接资源。 出于DNS解析性能和OBS服务可靠性的考虑，不允许将server设置为IP，必须使用域名访问OBS服务。 配置SDK代理请参见配置SDK代理(Node
port:指定HTTP端口。Presto使用HTTP来与外部和内部进行交流。 query.max-memory：查询能用到的最大总内存。 query.max-memory-per-node：查询能用到的最大单节点内存。 discovery-server.enabled：Presto使用Discovery
数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。 对接步骤 以logstash-7.10.2为例。 下载logstash-7
使用账号登录时，界面提示“获取用户的Token失败” 在使用OBS Browser+过程中，如果使用账号登录时提示“获取用户的Token失败”，原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例，步骤如下： 进入系统页面，路径为“Windows
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
本节介绍在完成SDK的下载和安装后，如何快速上手使用OBS的基础功能，完成创建桶、上传下载对象、列举对象和删除对象。 入门准备 使用SDK管理OBS资源，您需要先完成以下几项准备工作： 使用前须知(Java SDK)：了解并选择合适的SDK版本。 使用前准备(Java SDK)：完成服务环境和开发环境准备。
第二步：使用表单上传 以BrowserJS为例，演示如何直接使用SDK计算签名。 基于表单上传是使用HTML表单形式上传对象到指定桶中，对象最大不能超过5GB。 您可以通过ObsClient.createPostSignatureSync生成基于表单上传的请求参数。使用Brows
logger.com.obs=ERROR 对接步骤 以Hadoop 3.1.1为例（建议使用最新的版本，不推荐使用低于2.8.3版本的hadoop与hadoop-huaweicloud配套使用）。 下载hadoop-3.1.1.tar.gz，并解压到/opt/hadoop-3.1
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
650 监控callback访问源站超时、失败等情况。 701 Block过期，分片不连续，block总大小和对象大小不匹配等。 父主题： 使用CES监控OBS桶
Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS Turbo存储空间、或缩短
使用生命周期删除和转换对象存储类别的规则 本章节将介绍使用生命周期定时转换对象存储类别、删除对象的规则。 约束限制 归档存储和深度归档存储不支持多AZ，因此不支持使用生命周期将多AZ桶中对象的存储类别转化为归档存储或深度归档存储。 使用生命周期转换对象存储类别规则 图1 使用生命周期转换对象存储类别
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
I训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS
安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud：下载地址。（建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本，例如hadoop-huaweicloud-2.8.3-hw-53
Python SDK接口概览 表1总结了OBS Python SDK支持的接口及功能描述，每个接口的详细介绍和示例代码请前往接口详情页查看。 SDK API概览 表1 Python SDK API概览 接口名 方法 功能描述 创建桶 ObsClient.createBucket 创建桶。
上传段完成后，调用OBS服务端合并段接口，生成最终对象。 OBS SDK实现了OBS服务端分段上传需要使用的原子接口，可在各语言《SDK参考》的“分段上传”章节获取更多使用OBS SDK进行分段上传的介绍。 父主题： API和SDK等开发者相关
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
资源包是否必须购买？是否能指定给具体的桶使用？ 资源包并不是必须要购买的，即使您没有购买也可以使用OBS服务，此时计费模式采用按需计费。但是购买资源包后，资源包可以抵扣使用OBS所产生的费用，相比不购买资源包采用按需计费的方式更优惠，因此推荐您按实际业务购买对应的资源包。 当前资
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
