检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。
功能限制 暂不支持并行文件系统 暂不支持多AZ 暂不支持低频存储、归档存储和深度归档存储 暂不支持归档数据直读 暂不支持碎片管理 暂不支持企业项目 暂不支持跨区域复制 暂不支持图片处理 暂不支持Data+(该功能已下线) 暂不支持数据回源 暂不支持在线解压 父主题: 基本概念
运行如下命令 linux系统: mvn clean package -Dmaven.test.skip=true -f pom-java.xml Windows系统: mvn clean package "-Dmaven.test.skip=true" -f pom-java.xml
默认取值: 无 x-obs-fs-file-interface String 参数解释: 判断是否为并行文件系统。 约束限制: 不携带此头域表示不属于并行文件系统。 取值范围: 取值包含Enabled(并行文件系统)。
ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 # security_token = os.getenv
True:从操作系统根证书库中获取服务端证书列表并验证服务端证书(仅支持Windows操作系统)。 False:表示不验证服务端证书。 默认为False。 N/A chunk_size 读写socket流时的块大小(单位:字节),您可以根据自身需求设置块大小。
在控制台页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“权限管理”>“权限”>“创建自定义策略”。 配置自定义策略参数。
使用链式方式从系统环境变量及ECS上获取访问密钥创建OBS客户端的代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 // 引入依赖包 import ( obs
macOS/Linux操作系统 .
如果将桶配置为单AZ,则无需选择此选项,系统默认赋值。 默认取值: 单AZ IsFSFileInterface bool 可选 参数解释: 是否创建并行文件系统。
不支持给并行文件系统配置镜像回源规则。 不支持OBS静态网站,即通过OBS静态网站域名下载对象出现404,不会触发镜像回源规则。 不支持在镜像回源规则中指定当前OBS桶域名,即源桶与目标桶不能是同一个桶。 私有桶的镜像回源当前仅支持部分云厂商。
约束限制: 仅第一次追加上传时可设置,后续追加上传时,系统默认与第一次追加上传的配置保持一致。
同步历史对象 请求费用 启用同步历史对象功能,系统会将创建跨区域复制规则前已经存在于桶中的对象同步复制到目标桶。 请求费用按系统自动同步时复制成功的对象数计算请求次数,产生请求费用。 流量费用 系统跨区域同步对象时,所产生的跨区域复制流量。
OBS系统提供的默认配置为根域名跨域访问允许所有域访问,会使客户端存在被攻击的风险。
例如,部分企业拥有自己的用户管理系统,用户管理系统中的用户包括终端APP用户、企业本地用户等,这部分用户并不具有IAM用户的权限,通过授予其临时访问密钥来访问OBS。
并行文件系统不支持追加写对象。
ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 security_token = os.getenv(
按需计费资源删除后,可能还会存在账单信息,因为系统通常会在使用后1个小时内对上一个结算周期的费用进行扣款。例如在8:30删除按小时结算的资源,但是8:00~9:00期间产生的费用,通常会在10:00左右才进行扣费。
以Windows操作系统为例,示例如下: obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800 Parallel: 3 Jobs:
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。