检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AccessKeyID/bucketname ; 密码为: AccessSecretyKeyID。 登录成功后，您便可以使用常用的FTP命令来管理存储在OBS上的文件。 父主题： 安装和使用obsftp
d。将不会产生恢复费用，也不会新增标准存储类别的对象副本的存储费用。 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费？ 计费说明 OBS服务默认为按需计费模式，即按实际使用的时长收费，以小时为单位，每小时整点结算，不设最低消费标准。 计费周期 系统
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
如何获取OBS的终端节点？ OBS可以通过域名进行访问，在使用API、第三方工具等方式使用OBS时，可通过域名方便定位OBS中的资源。 在使用OBS之前，请确保客户端环境已经正确配置DNS服务器地址，用于OBS域名解析。 不同的数据中心分配对应的域名，域名详情请参见地区和终端节点。
转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。 对接步骤 以logstash-7.10.2为例。 下载logstash-7
、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。 对接步骤 下载datax源码，以发布版本datax_v202308为例：下载地址。 修改编译datax。 升级hdfsrea
以直接与开源的大数据组件对接。当您使用开源的大数据组件时，可参考支持的大数据组件简介完成与OBS对接。 （可选）如果您的数据仍存储在本地HDFS，需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题： 大数据场景下使用OBS实现存算分离
请执行以下操作： 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证，完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额，才能正常使用OBS等相关资源。请参考账户充值。 下载并安装OBS Browser+图形化工具。 获取访问
用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。 Distcp方式迁移 Hadoop Distcp（Distributed copy）主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具，它使用Map/R
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求，产生上传、下载流量，也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态，华为云提供了云监控服务（Cloud Eye）。用户可使用云监控服务（Cloud Eye）监控自己的OBS桶
我在什么场景下需要使用生命周期管理？ 生命周期管理可适用于以下典型场景： 周期性上传的日志文件，可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问，但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储，归档存储或者删除。 为
使用生命周期删除和转换对象存储类别的规则 本章节将介绍使用生命周期定时转换对象存储类别、删除对象的规则。 约束限制 归档和深度归档存储不支持多AZ，因此不支持使用生命周期将多AZ桶中对象的存储类别转化为归档或深度归档存储。 使用生命周期转换对象存储类别规则 图1 使用生命周期转换对象存储类别
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
op、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 MRS与OBS对接的具体操作，请参见华为云MRS对接OBS。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
表1可以帮助您快速搜索使用量对应的OBS计费项，了解账单中实际产生的扣费情况。 表1 账单使用量类型与计费项对照表 使用量类型 使用量类型编码 使用量对应的OBS计费项 计费项说明 数据处理量 data_process_size 数据处理费用 按照被处理的原图片的实际大小收取。
I训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
