检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 登录OBS Browser。 单击页面右上角的图标并选择“系统配置”。 在“系统配置>基本配置”窗口,勾选“启用MD5校验”,如图1所示。 图1 配置MD5校验 单击“保存”。 选择待上传文件的桶,上传文件。 在页面右上角单击,在“正在运行”任务管理列表中可以查看到文件上传状态和MD5校验状态,如图2所示。
搜索桶 OBS Browser+支持按桶名所包含的字符串搜索桶。 操作步骤 登录OBS Browser+。 在主页面右上角的搜索框中输入需要查找的桶名,如图1所示。 图1 搜索框 单击。 搜索到的桶会显示在桶列表中。如果想重新搜索其他桶,可单击删除已输入的关键字后重新输入需要搜索的桶名,如图2所示。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况,您可以前往训练作业列表,查看训练作业的基本情况。 父主题: 训练
新建文件夹 用户可通过OBS Browser软件新建文件夹。 背景知识 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景知识 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
批量任务执行失败如何确认错误信息 用户执行批量上传/下载/复制等批量操作时,最终输出结果中会显示批量任务执行成功的个数及失败的任务个数。为确认失败任务的具体错误原因,可以通过查看对应任务的失败结果清单文件及obsutil的日志文件进行确认。 批量任务执行完成后会输出taskID信息,根据taskID信息即可在
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景信息 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
数量配额。 前提条件 删除桶之前必须确保桶内的对象已全部删除。 只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 在消息确认框中单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。
数量配额。 前提条件 删除桶之前必须确保桶内的对象已全部删除。 只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 在消息确认框中单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。
运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003
批量任务执行完成后,会生成结果清单文件,默认情况下结果清单文件保存在运行obsutil命令的用户目录的子文件夹.obsutil_output下,用户可以通过在运行命令时指定-o附加参数来指定保存结果清单文件的文件夹。 查看结果清单 结果清单文件包含三种类型,成功结果清单、失败结果清单和警告结果清单,命名规则为:操作_{succeed
有文件或文件夹。 批量移动文件数量超过万级别时,建议使用obsutil工具,详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。 右键单击需要移动的文件或文件夹,并选择“移动”。 选择存放
具体描述请参见5.4.2-POST上传。 精确匹配:Exact Matches x-obs-meta-* String 用户自定义元数据。 元素中的关键字不允许含有非ASCII码或不可识别字符,如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL
下载与安装SDK(Harmony SDK) 本节提供Harmony SDK的下载链接,并介绍SDK的安装方式。 下载SDK OBS Harmony SDK最新版本:OBS Harmony SDK。 OBS Harmony SDK最新版本源码下载:最新源码下载。 安装方式概览 如表1所示,Harmony
重命名文件 重命名文件是通过复制文件为其他名称,再删除原文件来实现的。 前提条件 用户需要有待操作文件的ACL读权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。 右键单击需要重命名的文件,并选择“重命名”。 在弹出的“重命名”对话框中输入对象名称,单击“保存”。
列举已上传未合并的段 功能介绍 用户可以通过本接口查询一个未合并任务所属的所有段信息,了解完整的分段上传流程请参见分段上传。此接口列举的各个段大小和分段上传的各个段大小一致。 请求消息样式 GET /ObjectName?uploadId=uploadid&max-parts=m
删除桶 功能介绍 删除桶操作用于删除用户指定的桶。只有桶的所有者或者拥有桶的删桶policy权限的用户可以执行删除桶的操作,要删除的桶必须是空桶。如果桶中有对象或者有多段任务则认为桶不为空,可以使用列举桶内对象和列举出多段上传任务接口来确认桶是否为空。 注: 如果删除桶时,服务端
Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击要扩容的文件系统所在行的“容量调整”或“扩容”,弹出对话框。
费用 OBS工具方式 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式 单次小于8TB的数据量 需要用户单独购买CDM服务 1TB~8TB/天(取决于网络和数据读取源的读写性能)