检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用
'objectname'; var method = 'PUT'; var headers = { 'Content-Type' : 'text/plain' } var res = obsClient.createSignedUrlSync({ Method : method
传对象,请求消息头中加入Content-MD5参数时,OBS均会对对象进行MD5校验。 当使用服务端加密时,建议您使用HTTPS对数据进行传输和接收。 父主题: 服务端加密
while (!executorService.isTerminated()) { try { executorService.awaitTermination(5, TimeUnit.SECONDS); } catch (InterruptedException e)
max_retry_count HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5] socket_timeout Socket层传输数据的超时时间(单位:秒)。默认为60秒。 [10, 60] connect_timeout 建立HTTP/HTTPS连接的超时时间(单位:秒)。默认为60秒。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
getNewlyTransferredBytes() long 新增的字节数。 getTransferredBytes() long 已传输的字节数。 getTotalBytes() long 待传输的字节数。 表7 ExtensionObjectPermissionEnum 常量值 说明 GRANT_READ
getNewlyTransferredBytes() long 新增的字节数。 getTransferredBytes() long 已传输的字节数。 getTotalBytes() long 待传输的字节数。 表6 ExtensionObjectPermissionEnum 常量值 说明 GRANT_READ
getNewlyTransferredBytes() long 新增的字节数。 getTransferredBytes() long 已传输的字节数。 getTotalBytes() long 待传输的字节数。 表7 ExtensionObjectPermissionEnum 常量值 说明 GRANT_READ
如果您在填写加速域名时,需要OBS控制台为您呈现已有华为云域名,便于您在下拉列表中直接点选,则您需要拥有域名注册服务(Domains)的Domains:domains:getDetails权限,请联系管理员使用统一身份认证服务(IAM)为您授权。 请填写可以正常使用的域名。 支持一次性添加5个域名。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,
BucketName = "bucketname", ObjectKey = "objectname", }; // 以传输字节数为基准反馈下载进度 request.ProgressType = ProgressTypeEnum.ByBytes;
FilePath = "localfile",// 上传的本地文件路径,需要指定到具体的文件名 }; // 以传输字节数为基准反馈上传进度 request.ProgressType = ProgressTypeEnum.ByBytes;
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
取值范围: 有效值支持两种格式: regionID:domainID(账号ID):key/key_id key_id 其中: regionID是使用密钥所属region的ID,可在地区和终端节点页面获取; domainID是使用密钥所属账号的账号ID,获取方法参见如何获取账号ID和用户ID?;
取值范围: 有效值支持两种格式: regionID:domainID(账号ID):key/key_id key_id 其中: regionID是使用密钥所属region的ID,可在地区和终端节点页面获取; domainID是使用密钥所属账号的账号ID,获取方法参见如何获取账号ID和用户ID?;
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
请求参数列表 参数名称 参数类型 是否必选 描述 input *GetObjectMetadataInput 必选 参数解释: 获取对象元数据请求参数,详情参考GetObjectMetadataInput。 extensions extensionOptions 可选 参数解释: 拓展