检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
SDK的重试机制是什么？(Java SDK) SDK通过创建并配置客户端章节中的maxErrorRetry参数来实行重试，默认重试3次，建议值为0到5次之间。 当调用ObsClient的接口发生网络连接异常或者服务端返回5XX错误时，SDK会进行指数退避重试。 ObsClient
可用内存：≥512MB - 安装盘可用空间 ≥512MB 安装OBS Browser+所需的硬盘空间。 数据盘可用空间 ≥3GB 存放OBS Browser+数据库的数据文件所需的硬盘空间。
获取上传进度 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。示例代码如下：
合并段 功能介绍 如果用户上传完所有的段，就可以调用合并段接口，系统将在服务端将用户指定的段合并成一个完整的对象，了解完整的分段上传流程请参见分段上传。在执行“合并段”操作以前，用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID
CloseableHttpClient; import org.apache.http.impl.client.HttpClients; public class TestMain { /* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
目录分享 如果您想将一个文件夹分享给其他人，同时希望能够指定有效期，OBS Browser+提供文件夹分享和授权码登录的功能，轻松为您完成数据分享。 首先，您登录OBS Browser+后，选择您要分享的目录右键或者单击操作栏的分享按钮。 然后，选择分享链接的有效期，并输入提取码
场景 返回结果 表8 返回结果 参数类型 描述 表9 说明： 该接口返回是一个Promise类型，需要使用Promise、async/await语法处理。 参数解释： 接口返回信息，详见表9。 表9 Response 参数名称 参数类型 描述 CommonMsg ICommonMsg
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
x-obs-id-2: 32AAAQAAEAABSAAgAAEAABAAAQAAEAABCStOlo1yxthHHo2GlS3WGgt1ekAIh3Vy Date: Fri, 26 Apr 2019 07:37:36 GMT Content-Length: 0 父主题： 桶的高级配置
ProxyUserName 连接代理服务器时使用的用户名。 N/A ProxyPassword 连接代理服务器时使用的用户密码。 N/A ProxyDomain 代理服务器的域。 N/A ValidateCertificate 是否验证服务端证书。默认为false。 N/A BufferSize
取值范围： 支持两种格式的密钥描述方式： regionID:domainID(租户ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID
ReplicationConfiguration 复制规则的容器，最多可以达到100条规则，所有的复制配置大小可达到50KB。 类型：Container 子节点:Rule 父节点:无 是 Agency 用户创建的委托名字，最大长度为64字符。 类型：String 父节点：ReplicationConfiguration
Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业，将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接，从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS
为什么会有碎片产生？ 桶中不完整的数据称之为碎片，通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生垃圾数据，因此需要清理这些碎片数据来释放空间。 网络条件较差，与OBS 对象存储的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。
存储费用 在使用对象存储服务时，按实际使用的存储容量、存储类型和时长收费。在使用不同存储类别的桶存储不同存储类别的对象文件时，收取的计费项有所不同。具体计费说明如表1所示。 不同规格的存储类别详细介绍请参考存储类别。 计费说明 表1 存储费用说明 资费项 计费项 含义 适用的计费模式
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
ExtensionGrant 可选 参数解释： 创桶时可指定的扩展权限列表。 取值范围： 参考ExtensionGrant。 默认取值： 无 availableZone str 可选 参数解释： 创桶时可指定的数据冗余类型，即AZ类型。 约束限制： 归档存储和深度归档存储不支持多AZ。如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
