检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储
obsfs简介 obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Servic
folder_url2。 folder_url 多文件/文件夹上传时可选 上传文件夹时必选 本地文件夹路径。 说明: 上传文件夹时,如果未设置flat选项,则直接上传整个文件夹;如果设置了flat选项,则上传文件夹下的所有内容。 多文件/文件夹上传时,禁止路径嵌套,例如:/a/b/c和/a/b/。 多
配置密钥(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,可以通过创建OBS客户端,调用SDK接口。
同时查询桶的访问策略。 bf 附加参数,可选 桶的存储用量字节数的显示格式。支持的值: human-readable raw 说明: 如果未设置该参数,则桶的存储用量字节数的显示格式由配置文件中的humanReadableFormat参数决定。 config 附加参数,可选 运行当
安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。 // 前端本身没有process对象,可以使用webpack类打
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
挂载外部桶的桶权限授权 桶的读写权限可以通过桶ACL和桶策略来授权。 桶ACL读写权限授权的操作如下: 表1 桶ACL读写权限 ACL权限 选项 对应桶策略高级设置中的动作 桶访问权限 读取权限 HeadBucket ListBucket ListBucketVersions ListBucketMultipartUploads
5.12版本及以上支持该参数。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 说明: 如果桶内对象较多,建议设置该值限制每次列举的对象个数,列举结束后,如果仍有对象,会在结果中返回下次请求的marker和versionIdMarker,用于继续列举剩余的对象。
核对权限配置信息,确认无误后单击“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 验证 权限设置成功后,在文件夹中单击对象名称,页面上“链接”显示该对象的访问地址。将“链接”中对象对应的URL公布到互联网上,互联网所有用户便可以访问或下载该对象。
bucket 必选 桶名 prefix 可选 对象名前缀,如果不为空,代表分享以该前缀开头的所有对象;如果为空,代表分享整个桶内的对象。 说明: 设置该值时,建议均以“/”结尾。 ac 附加参数,可选 提取码。 说明: 如果未使用该参数传入提取码,obsutil工具会以交互模式提示输入提取码。
安装SDK 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 方式一、通过visual studio 软件的NuGet包管理器安装SDK,步骤如下: 启动Visual Studio,选择“工具
5.12版本及以上支持该参数。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 说明: 如果桶内对象较多,建议设置该值限制每次列举的对象个数,列举结束后,如果仍有对象,会在结果中返回下次请求的marker和versionIdMarker,用于继续列举剩余的对象。
问题处理 登录OBS Browser时,登录界面无反应 通过OBS Browser同时选中大量文件上传时,上传任务没有创建,界面无任何提示 使用OBS Browser上传文件时,出现蓝屏或黑屏现象 使用OBS Browser管理对象时,在任务列表中无相关任务显示 在ECS中,通过OBS
说明: expedited表示快速恢复对象,归档存储恢复耗时1~5 min。 standard表示标准恢复对象,归档存储恢复耗时3~5 h。 不设置该选项时,默认使用expedited模式。 versionId 附加参数,恢复单个cold存储对象时可选 待恢复cold存储对象的版本号。
DNS命名规范方便全局统一,方便在访问桶时对桶进行解析,可以使客户受益于新功能和优化性能,并支持对桶进行静态网站托管。 桶创建成功后,不能修改名称,创建时,请设置合适的桶名。 单击确认后,如果创建成功,会立即在桶列表中看到刚刚创建的桶。如果创建失败,会在界面上显示错误信息。 父主题: 桶的基本操作
开发环境准备 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 从Eclipse官网下载并安装Eclipse IDE for JavaScript and Web Developer最新版本。
者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 查询桶的最大个数,小于0表示列举所有结果,不设置时的默认值为1000。 format 附加参数,可选 指定以自定义格式打印列举结果。当前仅支持值[default],指定列举结果在一行显示。
安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取