检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
图1 日志记录 选择“日志存储桶”(已经存在的桶),指定日志文件生成后将上传到哪个桶中。选定的日志存储桶的日志投递用户组会自动被赋予读取ACL权限和桶的写入权限。 设置“日志文件前缀”,指定日志文件的前缀。 启用日志记录功能后,生成的日志文件根据如下规则命名: <日志文件前缀>Y
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
除带删除标记的版本外,其他历史版本的对象存储在OBS中仍需要进行计费。 暂停与未启用的区别 暂停多版本控制后,删除对象时,无论此对象是否存在历史版本,将会产生一个版本号为空的删除标记。而未启用多版本控制时,则不会产生删除标记。 多版本开启后,由于对象的每个历史版本都被保存下来,每个
读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。
功能介绍 调用获取桶存量信息接口,可查询指定桶内的对象个数,以及对象占用空间的大小。 由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 接口约束 您必须是桶拥有者或拥有获取桶存量信息的权限,才能获取桶存量信息。建议使用IAM或桶策略进
已获得访问其他用户的桶的相应ACL权限。 例如:账户A需要挂载账户B下的桶“bucket_share”以便于读取账户B下的桶“bucket_share”中的对象,则账户B需要先获取账户A的“账户ID”并通过OBS管理控制台先为其设置桶“bucket_share”的“读取权限”。 账
象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。桶的存储类型分为三类,见下表: 类型 说明 OBS .NET SDK对应值
创建桶失败 如果当前用户所创建的桶已达到上限100个,删除一些闲置的桶再创建。 如果是当前桶名已存在,则更换桶名再创建。在OBS中,桶名必须是全局唯一的,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创
OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。
桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。 对象数量 桶中存储的对象数量。 多AZ 多AZ功能的状态。 开启多AZ后,数据冗余存储至多个AZ中。
在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏单击“基础配置>事件通知”,进入“DIS通知”界面。 单击“复制”。 选择复制源,即DIS通知规则所在的源桶。 从源桶复制DIS通知规则的操作为增量复制,不会删除当前桶已存在的DIS通知规则,与已存在的DIS通知规则冲突的规则不会复制。
使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置 > 其他”中查看)删除obs文件夹中的所有文件,再重启客户端”的报错,
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
桶策略规则无效,请重新配置。 Obs.0033 请求的桶名已经存在。桶的命名空间是系统中所有用户共用的,选择一个不同的桶名再重试一次。 Obs.0034 新的有效期对应的过期时间必须晚于当前该对象的过期时间。 Obs.0035 无法判断桶中是否有对象或碎片,请检查您是否有桶的读权限。
除了 HTTP 标准头域外,您也可以指定自定义元数据,自定义元数据仅支持英文字符、数字与中划线【-】。 以下代码展示了如何设置对象属性: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和
功能,并且无法暂停。 本接口设置桶的多版本状态,用来开启或暂停桶的多版本功能。 设置桶的多版本状态为Enabled,开启桶的多版本功能: 上传对象时,系统为每一个对象创建一个唯一版本号,上传同名的对象将不再覆盖旧的对象,而是创建新的不同版本号的同名对象 可以指定版本号下载对象,不指定版本号默认下载最新对象;
对所有账号授予桶的公共读权限 场景介绍 当某个桶需要授权所有账号访问权限时,可以通过桶策略和桶ACL配置授予所有账号访问桶的权限。本示例以桶策略为例。 配置须知 本案例预置的“公共读”模板允许所有账号(所有互联网用户)对整个桶及桶内所有对象执行以下权限: HeadBucket:判断桶是否存在、获取桶元数据
使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OB
即可实现对该前缀下的所有对象的匿名访问。 设置对象ACL操作步骤 登录OBS Browser+。 选中待配置的对象,单击页面上方按钮“更多->对象ACL”。 根据需求设置目标对象的ACL权限,单击“确定”,如下图所示。 图1 配置对象ACL 配置桶策略可参考桶策略,获取对象URL可参考如何获取对象访问路径。