检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
介绍了每个接口的参数和使用方法。 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。 具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端 配置OBS客户端 配置SDK日志 父主题: 初始化
华为云对象存储服务论坛中发帖求助。 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,可以通过创建OBS客户端,调用SDK接口。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端(Node
靠性更高,同时存储成本相对更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 桶创建成功后,不支持更改数据冗余存储策略。 多AZ存储桶不支持为桶设置归档存储类别和深度归档存储类别。 存储类型 标准存储 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfig)创建OBS客户端(ObsClient)时,您可通过ObsConfig配置类对O
setObjectKey("objectname"); request.setFile(new File("localfile")); // localfile为待上传的本地文件路径,需要指定到具体的文件名 // 设置对象访问权限为公共读 request.setAcl(AccessControlList
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶中对象的自定义属性描述,以便对对象进行自定义管理。
统计文件夹中的对象数量和大小 如果您需要统计桶中文件夹的大小及其所含对象数量,可以使用文件夹统计功能。 统计文件夹大小会收取“列举桶内对象”接口的调用费用,详情请参考计费说明。 约束与限制 支持统计对象数量在100万以内的文件夹,对象数量超过100万的文件夹建议使用obsutil工具的列举对象命令进行统计。
是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上
约束 描述 bucket 在指定的桶内创建文件夹时必选 桶名。 folder 在指定的桶内创建文件夹时必选 桶内的文件夹路径,支持多级文件夹,以“/”分隔。 folder_url 在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
无 standardSize long 参数解释: 返回标准存储类型存量大小 默认取值: 无 standardObjectNumber int 参数解释: 返回标准存储类型对象个数 默认取值: 无 warmSize long 参数解释: obs请求时返回低频存储类型存量大小 默认取值:
K与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。
SDK与OBS云服务交互的必要条件。开发环境准备是让您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。
连接超时异常 如果获取到的异常堆栈出现“System.Net.WebException: 无法连接到远程服务器 --->System.Net.Sockets.SocketException: 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败“,说明连接超时。
您可以通过ObsClient.deleteObject删除单个对象。以下代码展示如何删除单个对象: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境
环境准备 资源准备 下载并安装obsfs 初始化obsfs
使用生命周期转换对象存储类别 如图所示,OBS支持通过生命周期实现以下场景的存储类别自动转换: 标准存储->低频访问存储、归档存储、深度归档存储 低频访问存储->归档存储、深度归档存储 归档存储->深度归档存储 如果对象是低频、归档或深度归档存储对象,那么转换过程中可能会涉及不满最低存储时间而产生的存储费用。
管理并行文件系统(Java SDK) 创建并行文件系统(Java SDK) 列举并行文件系统(Java SDK) 列举并行文件系统内对象(Java SDK) 修改写对象(Java SDK) 重命名对象(Java SDK) 截断对象(Java SDK)
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前