检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
Workshop,DEW) 服务端加密 通过CDN服务为OBS桶绑定的自定义域名加速。 CDN(Content Delivery Network,内容分发网络) 自定义域名绑定 通过CDN加速访问OBS 通过DNS服务为托管在OBS上的静态网站和OBS桶绑定的自定义域名做域名解析。 云解析服务(Domain
Forbidden InvalidAccessKeyId 系统记录中不存在客户提供的Access Key Id。 携带正确的Access Key Id。 403 Forbidden NotSignedUp 你的账户还没有在系统中注册,必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403
并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。
S表示通过安全的HTTPS访问该资源,对象存储服务支持HTTP,HTTPS两种传输协议。 必选 bucket 请求使用的桶资源路径,在整个系统中唯一标识一个桶。 可选 domain 存放资源的服务器的域名或IP地址。 必选 port 请求使用的端口号。根据软件服务器的部署不同而不
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
一个账号及账号下的所有IAM子用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实现不同目录在不同业务部门之间的权限隔离。 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。
挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对
并行文件系统是否支持资源包? 当前如下资源包同时支持并行文件系统及对象桶: 标准存储资源包:包括单AZ及多AZ 归档存储资源包 公网流出流量包 由于并行文件系统暂时不支持跨区域复制和回源功能,所以无法使用对应的跨区域复制流量包和回源流量包。 父主题: 计费相关
单击“重命名”。 图1 重名对象 在弹出窗口中输入新的对象名,单击“确定”。 重命名并行文件系统中文件 您可以通过API、SDK、OBS Browser+三种方式对重命名并行文件系统中文件。 通过API重命名对象 重命名对象Java SDK 使用OBS Browser+: 登录OBS
并行文件系统支持的特性 并行文件系统支持的API列表 本节主要介绍并行文件系统和已有的OBS API的兼容情况,并对部分兼容的API进行差异说明。 关于OBS各个API接口的详细介绍,请参见《对象存储服务API参考》。 桶基础操作接口 表1 桶基础操作接口 接口 并行文件系统是否兼容
TTP1.1协议。 ObsConfiguration.setHttpProtocolType N/A httpDispatcher 自定义分发器。 ObsConfiguration.setHttpDispatcher N/A 建议值为N/A的表示需要根据实际情况进行设置。 如需提
建议只设置显式的Allow权限即可。 应用场景 临时访问密钥主要用于授权第三方临时访问OBS服务。例如,部分企业拥有自己的用户管理系统,用户管理系统中的用户包括终端APP用户、企业本地用户等,这部分用户并不具有IAM用户的权限,通过授予其临时访问密钥来访问OBS。 典型场景如下:
PUT上传 功能介绍 用户在OBS系统中创建了桶之后,可以采用PUT操作的方式将对象上传到桶中。上传对象操作是指在指定的桶内增加一个对象,执行该操作需要用户拥有桶的写权限。 同一个桶中存储的对象名是唯一的。 在桶未开启多版本的情况下,如果在指定的桶内已经有相同的对象键值的对象,用
com/picture.jpg)对该对象进行寻址。 对象 对象在OBS中是最基本的实体。在一个桶中可以存放多个对象,OBS系统并不能区分对象的文件类型。在OBS系统中存储的对象是被序列化了的,因此它可能是一个文本文件或者一个视频文件。OBS支持的数据大小范围可以是0B到48.8TB(包含0B和48
ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken")
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 MRS与OBS对接的具体操作,请参见华为云MRS对接OBS。 Cloudera CDH CDH是Cloudera基于Apache Hadoop生态系统构建的大数据分析管理平台发行版。
仅支持华东-上海一、华北-北京四、华南-广州区域。 当OBS桶中触发了对象上传、下载、删除等操作事件时,OBS将事件通知发送给DIS,再通过DIS通道将通知分发给下游的大数据处理服务,如数据湖工厂(DLF)。大数据处理服务接到通知后,利用委托的OBS权限对OBS中更新的数据进行实时分析处理。您可以
取值范围: 如果将桶配置为多AZ,则取值为3az。 如果将桶配置为单AZ,则无需选择此选项,系统默认赋值。 默认取值: 单AZ FileInterface string 可选 参数解释: 是否创建并行文件系统。 约束限制: 无 取值范围: 可选值为Enabled 默认取值: 无,不设置则创建对象桶。