检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况,您可以前往训练作业列表,查看训练作业的基本情况。 父主题: 训练
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
监控安全风险 OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
搜索桶 OBS Browser+支持按桶名所包含的字符串搜索桶。 操作步骤 登录OBS Browser+。 在主页面右上角的搜索框中输入需要查找的桶名,如图1所示。 图1 搜索框 单击。 搜索到的桶会显示在桶列表中。如果想重新搜索其他桶,可单击删除已输入的关键字后重新输入需要搜索的桶名,如图2所示。
新建文件夹 用户可通过OBS Browser软件新建文件夹。 背景知识 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景知识 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
批量任务执行失败如何确认错误信息 用户执行批量上传/下载/复制等批量操作时,最终输出结果中会显示批量任务执行成功的个数及失败的任务个数;为确认失败任务的具体错误原因,可以通过查看对应任务的失败结果清单文件及obsutil的日志文件进行确认。 批量任务执行完成后会输出taskID信息,根据taskID信息即可在
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景信息 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
数量配额。 前提条件 删除桶之前必须确保桶内的对象已全部删除。 只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 在消息确认框中单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。
批量任务执行完成后,会生成结果清单文件,默认情况下结果清单文件保存在运行obsutil命令的用户目录的子文件夹.obsutil_output下,用户可以通过在运行命令时指定-o附加参数来指定保存结果清单文件的文件夹。 查看结果清单 结果清单文件包含三种类型,成功结果清单、失败结果清单和警告结果清单,命名规则为:操作_{succeed
数量配额。 前提条件 删除桶之前必须确保桶内的对象已全部删除。 只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 在消息确认框中单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。
运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003
重命名文件 重命名文件是通过复制文件为其他名称,再删除原文件来实现的。 前提条件 用户需要有待操作文件的ACL读权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。 右键单击需要重命名的文件,并选择“重命名”。 在弹出的“重命名”对话框中输入对象名称,单击“保存”。
有文件或文件夹。 批量移动文件数量超过万级别时,建议使用obsutil工具,详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。 右键单击需要移动的文件或文件夹,并选择“移动”。 选择存放
下载与安装SDK(Harmony SDK) 本节提供Harmony SDK的下载链接,并介绍SDK的安装方式。 下载SDK OBS Harmony SDK最新版本:OBS Harmony SDK。 OBS Harmony SDK最新版本源码下载:最新源码下载。 安装方式概览 如表1所示,Harmony
具体描述请参见5.4.2-POST上传。 精确匹配:Exact Matches x-obs-meta-* String 用户自定义元数据。 元素中的关键字不允许含有非ASCII码或不可识别字符,如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL
参数信息。具体参数请参考高级参数设置使用。 python FTPServerStart.py --help 使用客户端登录(以Filezilla为例),配置登录帐号,地址和端口。 FTP Client和obsftp运行在同一个主机时,默认的FTP SERVER地址为127.0.0
列举已上传未合并的段 功能介绍 用户可以通过本接口查询一个未合并任务所属的所有段信息,了解完整的分段上传流程请参见分段上传。此接口列举的各个段大小和分段上传的各个段大小一致。 请求消息样式 GET /ObjectName?uploadId=uploadid&max-parts=m
删除桶 功能介绍 删除桶操作用于删除用户指定的桶。只有桶的所有者或者拥有桶的删桶policy权限的用户可以执行删除桶的操作,要删除的桶必须是空桶。如果桶中有对象或者有多段任务则认为桶不为空,可以使用列举桶内对象和列举出多段上传任务接口来确认桶是否为空。 注: 如果删除桶时,服务端
费用 OBS工具方式 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式 单次小于8TB的数据量 需要用户单独购买CDM服务 1TB~8TB/天(取决于网络和数据读取源的读写性能)