-
什么是对象存储服务 - 对象存储服务 OBS
BS上的数据,以及开发多种类型的上层业务应用。 在全球多区域部署了OBS基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定区域使用OBS,由此获得更快的访问速度和实惠的服务价格。 产品架构 OBS的基本组成是桶和对象。 桶是OBS中存储对象的容器,每个桶都有自己的存储类
-
查询桶触发器 - 对象存储服务 OBS
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
-
删除桶触发器 - 对象存储服务 OBS
删除桶触发器 功能介绍 本接口用于删除在桶上绑定工作流触发器。 请求消息样式 DELETE /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization:
-
OBS、EVS和SFS有什么区别? - 对象存储服务 OBS
可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 存储数据的逻辑 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。
-
配置OBS客户端 - 对象存储服务 OBS
dentialProvider的实例对象。 securityToken获取方式参见OBS服务环境搭建。 OBSHTTPProxyConfiguration可以设置的参数见下表: 表3 代理服务配置表 参数 描述 方法 proxyType 网络访问的类型(枚举类型)。 只允许HTTP:
-
OBS最佳实践汇总 - 对象存储服务 OBS
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异
-
通过s3fs挂载OBS对象桶 - 对象存储服务 OBS
multipart_size 参数解释: 以多段上传模式上传文件时,段的大小,单位为MB。段的大小会影响能够上传的文件大小,具体参考多段上传。 取值范围: 5~5120,单位:MB。 默认取值: 10 no_check_certificate 参数解释: 对服务端的证书不做校验,仅在使用HTTPS协议时有效,默认开启证书校验。
-
工具说明 - 对象存储服务 OBS
使用不同桶进行不同服务的数据存储,利于业务规划和运维。 支持多个FTP客户端挂载使用。一般4核8GB内存的X86服务器可支撑200个以上客户端同时操作。 多操作系统支持:支持32/64位Windows、Linux和Mac操作系统。 obsftp对操作系统的版本要求依赖于安装的Python版本,Python版本要求为2
-
为obsutil配置HTTP代理 - 对象存储服务 OBS
name:password@your-proxy:8080。 HTTP代理的格式一般为http://[用户名:密码@]代理服务器地址:端口号,其中用户名密码非必选。 如果proxyUrl参数和系统环境变量的优先级规则为:proxyUrl > HTTPS_PROXY > HTTP_PROXY。
-
方案概述 - 对象存储服务 OBS
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
-
Linux/Unix系统 - 对象存储服务 OBS
Client和obsftp运行在同一个主机时,默认的FTP SERVER地址为127.0.0.1,端口号为10020。 服务端是云主机,客户端在本地主机,则FTP SERVER地址设置为云主机的弹性IP(EIP)。 obsftp部署在云主机,客户端在本地时候,启动obsftp需要设置listen
-
验证 - 对象存储服务 OBS
验证 在浏览器中输入访问地址:www.example.com,验证能否访问到配置的默认首页,如图1所示。 图1 默认首页 在浏览器中输入一个桶中不存在的静态文件访问地址,例如:www.example.com/imgs,验证能否访问到配置的404错误页面,如图2所示。 图2 404错误页面
-
Windows系统 - 对象存储服务 OBS
录帐号,地址和端口。 FTP Client和obsftp运行在同一个主机时,默认的FTP SERVER地址为127.0.0.1,端口号为10020。 服务端是云主机,客户端在本地主机,则FTP SERVER地址设置为云主机的弹性IP(EIP)。 obsftp部署在云主机,客户端在
-
配置挂载外部桶 - 对象存储服务 OBS
已获得访问其他用户的桶的相应ACL权限。 例如:账户A需要挂载账户B下的桶“bucket_share”以便于读取账户B下的桶“bucket_share”中的对象,则账户B需要先获取账户A的“账户ID”并通过OBS管理控制台先为其设置桶“bucket_share”的“读取权限”。 账
-
通过对象URL访问对象 - 对象存储服务 OBS
用户通过分享的链接地址可访问对象数据。 前提条件 已经设置匿名用户对该对象的读取权限。 权限开启方法请参见对所有账号授予指定对象的读权限。 不能对已加密的对象进行共享。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
-
配置OBS客户端 - 对象存储服务 OBS
endpoint 连接OBS的服务地址。包含协议类型、域名(或IP)、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A ssl_verify 验证服务端证书参数。可能的取值: 服务端pem格式根证书文件路径; true:使用默认的CAs验证服务端证书;
-
连接超时异常 - 对象存储服务 OBS
连接超时异常 如果调用接口时出现“connect ETIMEDOUT”错误,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务,此时请检查服务地址和网络状况。 父主题: 异常处理
-
应用场景 - 对象存储服务 OBS
OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云,通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算,分析计算产生的数据和计算结果存储到OBS中,其中上传到华为云的基因数据自
-
创建桶 - 对象存储服务 OBS
一区域的同名桶时返回成功。除此以外的其他场景重复创建同名桶返回桶已存在。用户可以在请求消息头中加入x-obs-acl等参数,设置要创建桶的权限控制策略。 存储类型 允许用户创建不同默认存储类型的桶。发送创桶请求时携带头域“x-obs-storage-class”来指定桶的默认存储
-
使用Commvault备份本地SAP HANA - 对象存储服务 OBS
HANA节点上,负责获取SAP HANA上需要备份的数据。 CommServe (CS) 备份服务器,Commvault备份软件的组成部分,部署在备份管理节点,负责全局备份策略的制定和备份业务的调度。 Media Agent (MA) 备份介质,Commvault备份软件的组成部分,部署在备份业务节点,负责直接将备份数据存储至OBS。