检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统
生命周期 生命周期概述 使用生命周期删除和转换对象存储类别的规则 配置生命周期规则 生命周期配置示例 生命周期元素说明 父主题: 数据管理
事件通知 使用EG发送OBS事件通知 使用DIS发送OBS事件通知 父主题: 数据管理
管理文件夹 创建文件夹 分享文件夹 统计文件夹中的对象数量和大小 父主题: 对象管理
资源。数组长度不超过10,每个字符串长度不超过128,规则如下: 可填 * 的五段式:::::,例:"obs:::bucket:*"。 region字段为*或用户可访问的region。service必须存在且resource属于对应service。 当该自定义策略为委托自定义策略时,该字段类型为Object,值为:"Resource":
图片处理 图片处理概述 图片处理约束限制 图片处理基本概念 开始图片处理(控制台) 开始图片处理(API接口) 获取图片信息 获取图片平均色值 设置图片效果 设置缩略 旋转图片 剪切图片 设置水印 格式转换与渐进显示 质量变换 设置图片瘦身 处理图片持久化 父主题: 数据处理
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云
server_callback; 同时4750行中,函数upload_file第四个参数后增加, server_callback,如下图 2、设置了代理还是连接失败,可能是因为sdk的 request.c的 get_api_version函数中未设置代理 可以参考sdk的 request
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
如何获取子用户IAM的用户ID? 登录公有云网站。 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 在“我的凭证”界面,API凭证页签中,查看账号名、账号ID、用户名、用户ID、项目名称、项目ID。 父主题: 常见问题
getContentLength() + ")"); } 调用ObsClient.listObjects返回ObjectListing实例,该实例包含此次listObject请求的返回结果,可通过ObjetListing.getObjects获取所有对象(Object)的描述信息。 上面的代码默认列举1000个对象(Object)。
如何进行分段上传?(Java SDK) 在上传文件时,您可以指定上传文件的某一段的数据来进行分段上传,步骤如下: 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient。 指定桶名和对象名初始化一个InitiateMultipartUploadRequest,您可以通过InitiateMu
操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。 对象状态为恢复中的对象不能再次恢复。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
复制桶策略 约束与限制 从源桶复制桶策略的操作为增量复制,不会删除当前桶已存在的桶策略。 与当前桶中相同名称的桶策略不会复制。 源桶和目标桶的桶版本号都必须是3.0。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
复制文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹复制到其他路径下。 批量复制文件数量超过万级别时,建议使用obsutil工具,详见复制文件。 前提条件 用户需要有待操作文件的ACL读权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。 右键单
移动文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹移动到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶,右键单击需要移动的文件或文件夹,并选择“移动”。 选择存放文件或文件夹的路径后,单击右键并选择“粘贴”。 不支持移动外部桶中的文件或文件夹。
快速入门 使用前需知 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例 预定义常量