检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar HDFS和Yarn集群对接OBS配置项 在HDFS集群配置中选择“高级”,在core-site.xml的群集范围高级配置代码段(安全阀)增加OBS的ak、sk、endpoint和impl配置,对应名称为fs.obs.access.key、fs.obs.secret.key、fs
Maven Projects。 如果在您的依赖路径下,下载了Java SDK的jar包,则说明Java SDK安装成功。如果未下载jar包,请检查是否正确配置了pom.xml文件,版本号是否正确替换。如仍未解决,请提交工单寻求技术支持。 方式二:使用Gradle中央仓库和Gradle工程下载安装OBS
对象(ListBucket)等接口,其他页面也会调用其他的OBS接口。而授予的只读权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 配置步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。
进入s3fs-fuse解压目录,按照以下命令执行编译操作: ./autogen.sh ./configure make sudo make install 执行以下命令检查安装情况。 s3fs --version 当命令回显出现s3fs版本信息时,表示s3fs能够成功运行。 配置AK:SK。 按照以下命令配置AK:SK:
warm:低频访问存储,可用性略低于standard,适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 deep-archive:深度归档存储(受限公测),适用于长期不访问
string 必选 连接OBS的服务地址。包含协议类型、域名(或IP)、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) 您可以从这里查看OBS当前开通的服务地址。 securityToken string 可选 临时访问密钥中的SecurityToken。
在OBS控制台左侧导航栏选择“桶列表”,单击页面右上角的“创建桶”按钮。 根据页面提示,选择“区域”、“桶名称”、“存储类别”及“桶策略”等,详情请参见创建桶。 为确保数据安全,“桶策略”建议选择“私有”,其他参数请根据页面提示进行配置。 单击“立即创建”,完成桶创建。 配置允许上传权限。 部门A、B的管理员用户
除桶时会先调用列举多版本对象(ListBucketVersions)接口。而授予的权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成桶删除操作,桶策略中要
归档存储或深度归档存储对象。 适用场景:归档存储适用于很少访问(平均一年访问一次)数据的业务场景,例如:数据归档、长期备份等场景。归档存储安全、持久且成本极低,可以用来替代磁带库。为了保持成本低廉,数据恢复时间可能长达数分钟到数小时不等。 分类:归档存储仅支持单AZ,单AZ数据仅存储在单个可用区(AZ),成本更低。
已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。
在OBS控制台左侧导航栏选择“桶列表”,单击页面右上角的“创建桶”按钮。 根据页面提示,选择“区域”、“桶名称”、“存储类别”及“桶策略”等,详情请参见创建桶。 为确保数据安全,“桶策略”建议选择“私有”,其他参数请根据页面提示进行配置。 单击“立即创建”,完成桶创建。 配置列举桶内对象和上传对象的权限。 部门A
warm:低频访问存储,,可用性略低于standard,适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 说明: 存储类型为cold的对象,必须首先恢复该对象再设置其存储类型
对象(ListBucket)等接口,其他页面也会调用其他的OBS接口。而授予的只读权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成相关读操作,请按照后续操作继续配置IAM自定义策略。
上新增一个版本。 对象键(对象名)虽然可以使用任何UTF-8字符,但是建议按照对象键命名指导原则进行命名,有助于最大程度符合DNS、Web安全字符、XML分析器和其他API的要求。 删除对象 桶没有开启多版本控制功能时,对象删除后不可恢复,请谨慎操作。 并行文件系统 详见《并行文件系统特性指南》
对象(ListBucket)等接口,其他页面也会调用其他的OBS接口。而授予的只读权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成对象下载操作,请按照后续操作继续配置IAM自定义策略。
ets、obs:bucket:ListBucket及一些控制台和OBS Browser+加载页面时需要调用的接口权限,会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成桶和对象相关操作,建议
标准:可在3-5小时内恢复归档存储数据,5-12小时内恢复深度归档存储数据。 单击“确定”。 系统每天会在UTC 00:00点检查一次文件恢复情况,过期时间是根据最近一次系统检查时间开始计算的。 使用API 恢复归档存储或深度归档存储对象 使用SDK Java Python C Go BrowserJS
用来指明请求发起者的访问密钥。 约束限制: 如果该请求包括安全策略参数policy或signature时,则必须包括此参数。 取值范围: 用户的AK。 默认取值: 无 policy String 是,有条件 参数解释: 该请求的安全策略描述。 约束限制: 当Bucket提供了Acces
由于业务原因,您需要将OBS数据从一个区域的数据中心迁移至另一个区域的数据中心。 数据备份与容灾 出于对数据安全性以及可用性的考虑,您希望对所有写入OBS的数据,都在另一个区域的数据中心显式地创建一个备份,以防止在数据发生不可逆损毁时,有安全、可用的备份数据。 易维护 您在两个不同OBS区域中具有分析同一组对象的计
warm:低频访问存储,可用性略低于standard,适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 meta 附加参数,可选 上传文件时可指定的自定义元数据。格式为:k