检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与访问OBS桶类似,使用obsfs挂载并访问并行文件系统的IAM用户需要具备OBS相关的访问权限,且与OBS桶的权限要求一致。给IAM用户授予OBS相关角色或策略后,将同时对OBS桶和并行文件系统有效。 创建IAM用户 访问密钥(AK和SK) 访问密钥(AK和SK)是账号或IAM用户的凭证信息,obsfs通过访
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
生命周期概述 使用场景 使用OBS“基于最后一次修改时间”的生命周期功能可实现定时转换对象的存储类别和定时删除桶中的对象。“转换”表示在不复制原对象的情况下自动将某些不再频繁访问的对象转换为成本更低的存储类别,以减少您的存储费用。 图1 OBS生命周期管理概述 表1 OBS生命周期管理概述
对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.CreateBucket创建桶。 带参数创建 创建桶时可以指定桶的访问权限、存储类型和区域位置。OBS支持的桶的存储类型有三类,参见桶存储类型。示例代码如下: // 初始化配置参数
Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等
错误级别,如果设置为这个级别,仅打印发生异常时的错误信息。 WARN warn 告警级别,如果设置为这个级别,除了打印错误级别的信息外,还将打印一些关键事件的信息。 INFO info 信息级别,如果设置为这个级别,除了打印告警级别的信息外,还将打印HTTP/HTTPS请求的耗时时间,ObsClient接口的耗时时间等。
按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户(APPServer)加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 IAM用户(APPServer)为终端APP-1和APP-2获取临时访
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将
http request cost 2597 ms 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。SDK提供了代表日志级别的枚举常量以设置不同的日志级别,具体说明如下: 表1 LogLevel 常量名 原始值 说明 OFF off
OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? OBS Browser+ 只支持将OBS Browser保存的账号信息迁移过来,不支持迁移任务信息;同时,OBS Browser+只支持迁移一次,不支持增量迁移;因此,强烈推荐您后期一直使用OBS
OBS支持服务端加密功能,使加密的行为在服务端进行。 用户可以根据自身的需求,使用不同的密钥管理方式来使用服务端加密功能。当前支持的服务端加密方式: KMS托管密钥的服务端加密(SSE-KMS)、OBS托管密钥的服务端加密(SSE-OBS)和客户提供加密密钥的服务端加密(SSE-C)。
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 构造请求 数据冗余存储
lder01的上级目录是folder02,文件夹名长度是按照folder02/folder01/的字节数计算的。 单个斜杠(/)表示分隔并创建多层级的文件夹。 如果创建文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。
果。 OBS不会以任何方式存储您的主密钥,您必须自行保证主密钥的正确性与完整性,如果主密钥丢失或用错,将会导致您的加密后数据无法解密,OBS不会承担任何责任。 OBS SDK会将解密所需的必要辅助信息存储在相应对象的元数据中,在对加密对象进行移动、复制、修改元数据等操作时,您需要
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
使用IE浏览器访问带有中文字符的对象URL地址报错如何处理? 问题描述 使用IE浏览器访问带有中文字符的对象URL地址,报HTTP 400错误。 处理思路 IE浏览器默认不是使用UTF-8发送查询字符串,修改IE浏览器的默认配置可以解决此问题。 处理步骤 打开IE浏览器(以IE 11为例)。
追加上传对象是否支持并发场景下的锁机制? OBS本身不支持,如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多
进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法,完成OBS相关配置。
Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。
对象策略是桶策略针对对象的策略,选中对象后配置该对象的对象策略。对象策略的资源为选中的对象,对应的动作和条件为桶策略中针对对象的动作和条件。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在待操作的对象的后面,单击“更