检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
后台工程师能否导出我存储在OBS中的数据？ 后台工程师无法导出用户数据。 访问桶或对象时，如果桶或对象未公开，只有桶或对象的拥有者才能够访问，访问时需要提供访问密钥（AK/SK）。 父主题： 数据安全、迁移和备份
下载相关章节完成数据迁移。 不同方式支持的操作系统、迁移数据量、操作简易程度存在差异，推荐您使用obsutil工具进行数据迁移。 为了节省您的开支，建议您配置内网DNS，通过华为云内网完成数据迁移。具体配置方法，请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型
OBS中的数据可以让其他用户访问吗？ 可以。 对于桶，可以通过桶ACL和桶策略授予其他用户桶的读取权限，其他用户即可访问该桶。 对于对象，可以通过对象ACL，对象策略和桶策略来授予其他用户对象的读取权限，或者设置对象分享功能，其他用户即可访问该对象。 父主题： 产品咨询
Metadata：元数据，即对象的描述信息，包括系统元数据和用户元数据，这些元数据以键值对（Key-Value）的形式被上传到OBS中。 系统元数据由OBS自动产生，在处理对象数据时使用，包括Date，Content-length，Last-modify，ETag等。 用户元数据由用户在上
getObjectMetadata接口获取目标对象大小和最后修改时间，再与数据源进行比较： 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功，否则上传失败。 ObsClient.getObjectMetadata接口的使用可参见18.4-获取对象元数据。 父主题： 常见问题(Java SDK)
会下发获取桶存量信息、获取桶元数据等请求。 示例三 以下载对象为例，对一个对象的每一次下载操作都会计算一次请求次数。假设下载100个对象： 针对标准存储对象和低频访问存储对象，会发送100次GET类请求，计算100次请求次数。 针对未开启归档数据直读功能的归档存储对象，需要先恢
配置Data+ Data+已下线，如果需要使用数据处理服务，可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 操作场景 当需要使用OBS提供的Data+服务对OBS内存储的数据，自动进行多项复杂任务（如解析、转码、截图等）处理时，可按照本节指导进行配置。 您需要先创建工作流，工作流可以自定义任务处理流程。
基于浏览器上传的表单中携带签名 功能介绍 OBS服务支持基于浏览器的POST上传对象请求，此类请求的签名信息通过表单的方式上传。计算POST表单上传请求的签名，需要先定义一个安全策略（policy），这个安全策略的作用是限制表单上传的内容，例如规定表单上传对象的对象名前缀必须以“
通过相关服务将数据迁移到OBS 对象存储迁移服务（Object Storage Migration Service，OMS） 迁移第三方云厂商数据至OBS_OMS方式 云数据迁移（Cloud Data Migration，CDM） 搬迁本地数据至OBS_CDM方式 数据快递服务（Data
当前暂不支持单独购买请求次数。 请求次数目前仅支持按需计费，按照GET类请求、PUT类请求、生命周期转换请求的请求次数进行收费。请求包括PUT/POST/COPY/LIST/GET/HEAD等。 父主题： 计费相关
ge下载整个多段上传对象的某部分数据。 合并完成的多段上传数据可以通过已有的删除对象接口，删除整个多段上传对象的所有分段数据，删除后不可恢复。 合并完成的多段上传数据不记录整个对象的MD5作为Etag，在下载多段数据或List桶内对象看到的多段数据其Etag的生成方式为：MD5（
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生垃圾数据，因此需要清理这些碎片数据来释放空间。 网络条件较差，与OBS 对象存储的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。
为什么会有碎片产生？ 桶中不完整的数据称之为碎片，通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。
事件类型。目前，OBS支持对以下事件类型进行在线解压。 ObjectCreated：表示所有创建对象的操作，包含Put、Post、Copy对象以及合并分段任务。 Put：使用Put方法上传对象。 Post：使用Post方法上传对象。 Copy：使用copy方法复制对象。 CompleteMultipartUpload：表示合并分段任务。
我对存储在OBS上的数据加密时，可支持哪些加密技术？ 您在将数据上传到OBS中前，可以事先对数据进行加密，以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上，让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时，CDN中缓存的过时数据也需要进行更新，可以使用CDN自动刷新功能来自动通知CDN去更新数据。因此，通过配置自动刷新策略，
者服务端返回5XX错误时，SDK会进行指数退避重试。 ObsClient.putObject接口，当数据源是非FileInputStream的其他InputStream时，由于数据流不能回读，当发生IO异常时，SDK不会进行重试，需要上层应用程序自行重试。 ObsClient.g
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
