检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
ue值区分大小写。 自定义元数据key-value对都必须符合US-ASCII。如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。例如x-obs-meta-中文:中文 经URL编码后发送,“中文”
列举并行文件系统内对象(Harmony SDK) 功能介绍 调用列举并行文件系统内对象接口,可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 您必须是并行文件系统
上传对象时设置指定对象生命周期(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 上传对象或者初始化分段上传任务时,您可以使用Expires参数直接指定对象的过期时间。此方式仅支持设置以天为单
恢复多版本归档或深度归档存储对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
列举并行文件系统内对象(Go SDK) 功能介绍 调用列举并行文件系统内对象接口,可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 每次接口调用最多返回1000个对象信息。
追加上传对象是否支持并发场景下的锁机制? OBS本身不支持,如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的
对单个IAM用户授予桶的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的指定操作权限,此处以授予删除桶的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
对单个IAM用户授予指定对象的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中指定对象的指定操作权限,此处以授予下载对象的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
对其他账号下的IAM用户授予桶和桶内资源的访问权限 场景介绍 本案例介绍如何为其他华为云账号下的IAM用户授予OBS桶和桶内资源的访问权限。 此处以授予上传和下载桶内对象的权限为例。如果需要配置其他指定的权限,在桶策略和给IAM用户授权中配置对应的权限即可。 推荐配置方法 对其他
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
设置桶日志后,进行图片处理,发现有100网段的ip访问桶 用户开启了桶日志配置,在对桶里的对象进行图片处理后,查看桶的访问日志,发现有100网段的ip访问了该桶。 原因是:在进行图片处理的过程中,OBS会通过内网访问客户的桶来下载原图并进行图片处理,此时内网ip会被记录到桶日志中,同时会产生下载次数的计费。
为什么SDK源码中包含acs.amazonaws.com关键字?(Node.js SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。比如Node
对单个IAM用户授予指定对象的读权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中某个对象或某类对象的读权限。 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。 配置须知 本案例预置的“对象只读”模板允许指定IAM用户对桶内指定对象执行以下权限:
为什么通过控制台设置匿名用户桶ACL后,旧配置中的delivered属性会被覆盖为false? OBS控制台目前不支持设置匿名用户的桶ACL权限继承关系(即不支持配置delivered属性),如需配置请使用OBS SDK或API操作。 如果您通过SDK或API配置了匿名用户的de
通过OBS Browser同时选中大量文件上传时,上传任务没有创建,界面无任何提示 问题 为什么通过OBS Browser同时选中大量文件上传时,上传任务没有创建,界面也无任何提示?例如:用户通过OBS Browser,单击“上传 > 上传文件”同时选中C盘中大量文件进行上传,上传任务没有创建,界面也无任何提示。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
对单个IAM用户授予创建桶和列举桶的权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS创建桶和列举桶的权限。拥有本权限的IAM用户可以创建桶,创建的桶仍然属于IAM用户对应的账号。同时该IAM用户也可以看到账号下的所有桶。 推荐配置方法 创建桶和列举桶属于OB
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文