检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该参数定义了桶将会被创建在哪个区域,如果使用的终端节点是obs.myhuaweicloud.com,可以不携带此参数;如果使用的终端节点不是obs.myhuaweicloud.com,则必须携带此参数。 取值范围: 当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址
算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
该参数定义了桶将会被创建在哪个区域,如果使用的终端节点是obs.myhuaweicloud.com,可以不携带此参数;如果使用的终端节点不是obs.myhuaweicloud.com,则必须携带此参数。 取值范围: 当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址
设置桶加密配置(Go SDK) 获取桶加密配置(Go SDK) 删除桶加密配置(Go SDK) 设置桶的自定义域名(Go SDK) 获取桶的自定义域名(Go SDK) 删除桶的自定义域名(Go SDK)
获取桶的加密配置(Harmony SDK) 删除桶的加密配置(Harmony SDK) 设置桶的自定义域名(Harmony SDK) 获取桶的自定义域名(Harmony SDK) 删除桶的自定义域名(Harmony SDK)
服务的一个网络,子网内ECS的IP地址都属于该子网。 云解析服务(DNS) DNS提供内网DNS,专门用于处理华为云内网域名以及OBS域名的解析请求,简化域名解析流程,减少因访问公网产生的流量费用。 父主题: 在ECS上通过内网访问OBS
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
建议值 key 访问密钥中的AK。 N/A secret 访问密钥中的SK。 N/A endpoint 连接OBS的服务地址。包含协议类型、域名(或IP)、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A ssl_verify
Upload任务的ID。 类型:String 父节点: Upload。 Initiator Multipart Upload任务的创建者。 子节点: ID。 类型:Container 父节点: Upload。 ID 创建者的DomainId。 类型:String 父节点: Initiator, Owner。
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
HostName string 如果RedirectAllRequestsTo设置必选 参数解释: 重定向时使用的域名。如 www.example.com。 约束限制: 域名需符合域名规范。 取值范围: 无 默认取值: 无 Protocol string 可选 参数解释: 重定向请求时使用的协议。
列举分段上传任务 功能说明 查询桶内分段上传任务。 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1]
访问密钥中的AK。 N/A secret_access_key 访问密钥中的SK。 N/A server 连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A max_retry_count
签。 支持的区域请参见功能总览。 √ √ 自定义域名 您可以将自定义域名绑定到OBS桶,然后使用自定义域名访问桶中的数据。例如,您需要将网站中的文件迁移到OBS,并且不想修改网页的代码,即保持网站的链接不变,此时可以使用自定义域名绑定功能。 全部 × √ 跨区域复制 您可以创建跨
恢复过程中无法读取对象内容。 恢复存储对象后,其实际转换为可下载状态的完成时间依赖于OBS服务端。 当前obsutil暂不支持查询恢复状态,您可以通过OBSBrowser+工具或者调用获取对象元数据接口查询恢复状态; 重复恢复归档存储数据时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。
明,不同场景的权限配置方法可以参考典型场景配置案例。 图1 无法访问OBS排查思路 表1 排查思路 可能原因 处理措施 IAM缓存导致权限未生效 由于缓存的存在,配置IAM权限后一般需要10~15分钟权限才能生效。请等待10~15分钟后再试。 使用了错误的账号或AK/SK访问OBS
连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A timeout HTTP/HTTPS请求的总超时时间(单位:秒)。默认为300秒。 [10,300] is_cname 是否通过自定义域名访问OBS服务。默认为false。
型,区域位置为全局域名所在的默认区域。 创建桶时,如果使用的终端节点归属于默认区域华北-北京一(cn-north-1),则可以不指定区域;如果使用的终端节点归属于其他区域,则必须指定区域,且指定的区域必须与终端节点归属的区域一致。当前有效的区域名称可从这里查询。比如初始化时使用的终端节点EndPoint是obs