检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
获取账号、IAM用户、项目、用户组、区域、委托的名称和ID 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界
配置SDK日志(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS Node.js SDK基于log4js开源库提供了日志功能,您可以通过ObsClient.initLog开启日志功能并进行配置。代码示例如下:
SDK公共结果对象(Node.js SDK) 调用ObsClient的相关接口完成后,如果未发生异常,则均会返回公共结果对象。该对象包含的内容见下表: 参数名称 参数类型 描述 CommonMsg Object 接口调用完成后的公共信息,包含HTTP状态码,操作失败的错误码等。 -
对当前账号下多个IAM用户或用户群组授权 对IAM用户组授予OBS所有资源的所有操作权限 对IAM用户组授予OBS所有资源的基本操作权限 对IAM用户组授予OBS所有资源的指定操作权限 对IAM用户组授予OBS指定资源的指定操作权限 对IAM用户组授予OBS指定文件夹的指定操作权限
分段上传概述(Java SDK) 功能说明 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 使用分段上传具有以下优势:
如何生成SSE-C方式的加密密钥(Java SDK) 以下代码展示了如何生成SSE-C方式的加密密钥,以及密钥的MD5值如何生成: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
我的数据存在OBS中,如何保证安全性? OBS是非常安全的,提供端到端的安全服务。 保证数据正确性:系统会定期对数据做扫描,仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),且不会读取数据的具体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥
PUT上传和POST上传有什么区别? PUT上传中参数通过请求头域传递;POST上传则作为消息体中的表单域传递。 PUT上传需在URL中指定对象名;POST上传提交的URL为桶域名,无需指定对象名。两者的请求行分别为: PUT /ObjectName HTTP/1.1 POST /
为什么OBS的云监控指标看不到5xx状态码统计数? 目前OBS的云监控指标是根据用户请求的信息统计展示的。当用户出现某种请求类或存储类动作,OBS的云监控指标就会展示该请求类或存储类的指标。 例如:当用户的请求出现5xx服务端响应状态码时,那么在云监控中就可以看到5XX状态码个数的指标。
OBS客户端通用示例(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 回调函数返回结果: OBS客户端可通过回调函数的形式返回结果,回调函数依次包含异常信息和SDK公共结果对象两个参数。如果回调函数中
如何解决断点续传接口报400 InvalidPart的错误? 可能存在的原因有: 合并段时请求段列表中包含了不存在的段; 合并段时请求段列表中包含的段的Etag错误。 可按照以下步骤排查原因: 打开浏览器的开发者工具。 检查合并段接口的请求体Body是否符合API接口规范。 如果
OBS客户端初始化(Harmony SDK) 功能说明 ObsClient是访问OBS服务的Harmony客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。使用OBS Harmony SDK向OBS
截断对象(Harmony SDK) 功能说明 截断对象操作是指将指定并行文件系统内的一个对象截断到指定大小。 接口约束 您必须是并行文件系统拥有者或拥有截断对象的权限,才能截断对象。建议使用IAM或策略进行授权,如果使用IAM则需授予obs:bucket:PutObject权限,
删除桶的自定义域名(Go SDK) 功能介绍 调用删除桶的自定义域名接口,您可以删除指定桶的自定义域名信息。 接口约束 您必须是桶拥有者或拥有删除桶的自定义域名的权限,才能删除桶的自定义域名。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:Delete
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
CDN加速场景下访问OBS桶内对象变成强制下载 问题现象 在OBS控制台配置自定义域名开启CDN加速后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台
如何对OBS桶下面的文件夹进行权限控制? 可以创建自定义桶策略,允许对指定的对象前缀配置需要的权限,即通过对象前缀来控制指定的文件夹。 例如:配置前缀为abc/,则表示所配置权限对文件夹abc生效。 具体配置请参考自定义创建桶策略(可视化视图)。 父主题: 权限相关
是否支持多个config文件在同一个目录下 不支持。 当前OBSUtil工具支持配置多个不同的config文件,但是需要注意的是由于config文件的加密需要,因此不能在同一个目录下配置多个config文件,否则会造成冲突。 如果需要配置多个config文件,则需要将不同的config配置文件初始化在不同的目录下。