检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
低频访问存储公网流出流量 download_warm.external 流量费用 恢复低频访问存储对象后,下载低频访问存储对象所产生的流出流量费用。无法使用公网流出流量包进行抵扣。 低频访问存储内网流出流量 download_warm.internal 流量费用 通过同区域华为云ECS、C
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
使用单链接限速限制下载流量 使用场景 为了避免因为客户端访问OBS内的对象时占用较大的带宽,而影响其他应用的网络带宽。您可以使用OBS单链接限速功能,通过限制下载的流量,保证其他应用的网络带宽。 本章将介绍以下限速方式 通过SDK请求限速 通过对象URL限速 通过签名URL限速 通过Header头域携带限速
无全局视图,数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径,数据拷贝耗时长。 公共数据集多份存储,数据冗余。 2 计算存储资源绑定,导致资源浪费 计算和存储资源无法均衡,当计算和存储需求不一致时,只能等比扩容,势必造成一种资源的浪费。 3 数据三副本存储,利用率低,成本高 Hadoop分布式文件系统(
每个用户最多可创建两个有效的访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。如果用户在此提示框中单击“取消”,则不会下载密钥,后续也将无法重新下载。如果需要使用访问密钥,可以重新创建新的访问密钥。 临时访问密钥: 临时AK/SK和SecurityToken是系统颁发给用户的临
HTTP方法类型,详情参见HttpMethodType。 Bucket string 必选 参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 桶命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 禁止使用IP地址。
OBS Browser+简介 OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。
authorization 请求消息参数 请求参数说明如表1所示。 删除对象时,请求消息参数仅支持表1 请求消息参数中列出的参数信息,如果包含了OBS无法识别的参数信息,服务端将返回400错误。 表1 请求消息参数 参数名称 描述 是否必选 versionId 待删除对象的版本号。 类型:String
executionState 否 str 参数解释: 工作流实例当前状态 取值范围: RUNNING,执行中 SUCCESS,执行成功 FAILED,执行失败 默认取值: 无 返回结果 表2 返回结果 类型 说明 GetResult 参数解释: SDK公共结果对象。 表3 GetResult 参数名称
上传段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,通过上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 段大小范围是[
分段上传文件时,文件被拆分为多个分段(Part)上传,然后再调用合并段接口将多个分段合并成完整对象,未成功上传或合并的分段称为碎片。您可以继续运行中断或失败的上传任务来消除碎片,或直接将碎片删除以节约存储成本。更多碎片文件相关信息详见清理碎片。 对象的过期删除标记 说明: 过期删除标记:对象的
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
VersionId:%s", i, deleted.Key, deleted.VersionId); }; // 获取删除失败的对象 console.log('Errors:'); for (let i = 0; i < result.InterfaceResult
后的所有文件。 o 附加参数,批量生成时可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 说明: 结果清单文件命名规则:sign_{succeed
常见问题 同一个并行文件系统可以挂载至多个客户端吗? 可以。 同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问?
配置SDK日志 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS .NET SDK基于Apache Log4net开源库提供了日志功能,您可以通过加入日志配置文件开启日志功能。具体步骤如下:
删除后再上传同名对象的版本示意图 除带删除标记的版本外,其他每个版本的对象存储在OBS中均需要进行计费。 暂停多版本控制 多版本控制一旦启动,不可以关闭,只能暂停使用。暂停后,新上传的对象版本号为空。如果之前有空版本号的同名对象,则会覆盖该带空版本号的对象。 图5 暂停多版本控制后的对象版本示意图
下载与安装SDK(Go SDK) 本节提供Go SDK的下载链接,并介绍SDK的安装方式。 下载SDK OBS Go SDK最新版本源码下载:最新源码下载 安装方式概览 如表1所示,Go SDK有以下安装方式。 表1 Go SDK安装方式概览 序号 方式 1 手动下载开发包使用GoLand新建工程并编译
删除桶的跨区域复制配置 功能介绍 删除桶的复制配置。执行该配置操作前需要确保执行者拥有DeleteReplicationConfiguration权限。 请求消息样式 1 2 3 4 DELETE /?replication HTTP/1.1 Host: bucketname.obs