检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集，并上传ImageNet21K数据集至OBS，详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
后台工程师能否导出我存储在OBS中的数据？ 后台工程师无法导出用户数据。 访问桶或对象时，如果桶或对象未公开，只有桶或对象的拥有者才能够访问，访问时需要提供访问密钥（AK/SK）。 父主题： 数据安全、迁移和备份
者服务端返回5XX错误时，SDK会进行指数退避重试。 ObsClient.putObject接口，当数据源是非FileInputStream的其他InputStream时，由于数据流不能回读，当发生IO异常时，SDK不会进行重试，需要上层应用程序自行重试。 ObsClient.g
为什么会有碎片产生？ 桶中不完整的数据称之为碎片，通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生垃圾数据，因此需要清理这些碎片数据来释放空间。 网络条件较差，与OBS 对象存储的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。
N/A Timeout 同步调用的超时时间（单位：毫秒）。默认为-1表示不超时。 N/A ReadWriteTimeout Socket层传输数据的超时时间（单位：毫秒）。默认为60000毫秒。 [10000, 60000] AsyncSocketTimeout 异步调用的超时时间（单位：毫秒）。默认为-1表示不超时。
等。 总览页在查询数据时，可能会出现多个数据不一致的情况，具体说明如下所示。 数据不一致的情况说明 标准存储量+低频访问存储量+归档存储量不等于总存储量，可能的原因有： 数据来源不一致：总存储量数据来源于OBS实时数据，标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES（OBS上报至CES的数据）。
初始化(Go SDK) ObsClient初始化(Go SDK) 日志初始化(Go SDK) SDK自定义错误(Go SDK) SDK接口拓展配置(Go SDK)
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
OBS中的数据可以让其他用户访问吗？ 可以。 对于桶，可以通过桶ACL和桶策略授予其他用户桶的读取权限，其他用户即可访问该桶。 对于对象，可以通过对象ACL，对象策略和桶策略来授予其他用户对象的读取权限，或者设置对象分享功能，其他用户即可访问该对象。 父主题： 产品咨询
初始化obsfs 在使用obsfs之前，需要将访问密钥（AK和SK）信息写入密钥文件，方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例，介绍具体的操作步骤。 前提条件 已获取访问密钥（AK和SK），具体操作请参见资源准备。
当前实例未运行结束时，该字段不存在。 默认取值： 无 input String 参数解释： 运行实例启动时的输入 默认取值： 无 state_map 字典数据结构 参数解释： 包括每个state信息。 取值范围： 参见ExecutionState结构体 默认取值： 无 表17 ExecutionState参数说明
ge下载整个多段上传对象的某部分数据。 合并完成的多段上传数据可以通过已有的删除对象接口，删除整个多段上传对象的所有分段数据，删除后不可恢复。 合并完成的多段上传数据不记录整个对象的MD5作为Etag，在下载多段数据或List桶内对象看到的多段数据其Etag的生成方式为：MD5（
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景，向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景：PB级的数据存储，批量数据分析，毫秒级的数据详单查询等
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
自定义函数开发规范 Data+已下线，如果需要使用数据处理服务，可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
日志初始化(Harmony SDK) 功能说明 通过开启SDK日志功能，可将接口调用过程中产生的日志信息记录到日志文件，用于后续的数据分析或问题定位。 方法定义 1 ObsClient.initLog(logConfig: LogConfig) 参数描述 表1 LogConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
