检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Web端通过PostObject接口直传OBS 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文
发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。 在“
数据直传OBS 将WordPress远程附件存储到OBS Web端通过PostObject接口直传OBS 移动应用直传 小程序直传OBS
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明:
Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据
下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储在OBS中,可以通过任务管理重新启动上传,实现断点续传。上传成功后,碎片将自动消失。
操作中将用到它。 上传段 初始化一个分段上传任务之后,可以根据指定的对象名和uploadId来分段上传数据。每一个上传的段都有一个标识它的号码——分段号(Part Number,范围是1~10000)。对于同一个uploadId,该分段号不但唯一标识这一段数据,也标识了这段数据在
ID),在后面的操作中将用到它。 上传段 初始化一个分段上传任务之后,可以根据指定的对象名和Upload ID来分段上传数据。每一个上传的段都有一个标识它的号码——分段号(Part Number,范围是1~10000)。对于同一个Upload ID,该分段号不但唯一标识这一段数据,也标识了这段数据
通过临时URL访问OBS(Java SDK) 功能说明 OBS客户端支持通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 如果您想授
t只面向授权的桶,资源选择时根据情况选择所有资源或者指定的桶。 配置步骤 使用账号登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“权限管理”>“权限”>“创建自定义策略”。 配置自定义策略参数。
操作中将用到它。 上传段 初始化一个分段上传任务之后,可以根据指定的对象名和UploadId来分段上传数据。每一个上传的段都有一个标识它的号码——分段号(PartNumber,范围是1~10000)。对于同一个UploadId,该分段号不但唯一标识这一段数据,也标识了这段数据在整
下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中,您可以使用本章提供的方式进行手动清理碎片,也可以根据需要选择通过继续运
创建桶和列举桶属于OBS服务级别权限,只能通过IAM权限实现,推荐使用IAM自定义策略。 配置步骤 使用账号登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“权限管理”>“权限”>“创建自定义策略”。 配置自定义策略参数。
“项目”列的内容即为所属区域对应的ID。 图4 查看区域ID 获取委托名称和ID 登录华为云,进入IAM控制台,选择“委托”页签。 鼠标移动到需要查询名称和ID的委托上,黑色框中出现的第一行为委托名称,第二行为委托ID。 图5 查看委托ID 父主题: 常见问题(Node.js SDK)
桶清单 使用场景 桶清单功能可以定期生成桶内对象的相关信息,保存在CSV格式的文件中,并上传到您指定的桶中,方便您管理桶内对象。目标桶和源桶可以是同一个桶。 指定的对象内容包括对象版本、大小、上次修改时间、存储类别、标签、加密状态等。 支持对桶清单加密,加密方式为SSE-KMS方式。
什么是临时授权访问 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 临时授权访问是指通过访问密钥、请求方法类型、请求参数等信息生成一个临时访问权限的URL,这个URL中会包含鉴权信息,您可以使用该URL进行访问OBS服务进行特
配置presto 在安装目录里创建etc目录。这目录会有以下配置(自己创建): 节点配置文件:每个节点的环境配置 JVM配置文件:Java虚拟机的命令行选项 Server配置文件(Config Properties):Presto server的配置 Catalog配置文件:配置
ired 未使用虚拟主机访问域名。 Host使用虚拟主机访问域名。 须知: 除获取桶列表之外的所有接口,都应当包含桶名。OBS基于DNS解析性能和可靠性的考虑,要求凡是携带桶名的请求,在构造URL的时候都必须将桶名放在domain前面,形成三级域名形式,又称为虚拟主机访问域名。
加密示例 上传对象加密 以下代码展示了在上传对象时如何使用服务端加密功能: SSE-C加密 static OBSClient *client; NSString *endPoint = @"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大