检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 工作流URN。 execution_urn String 工作流实例URN。 started_at String 工作流实例启动时间。 execution_type String 工作流执行方式。 stopped_at String 工作流停止时间。 execution_state
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当前AK所属用户的访问方式是否开启编程访问。
任务,碎片将会消失。 当存在运行中断或失败的分段上传任务并产生碎片后,您可以继续运行中断或失败的上传任务来消除碎片,或直接将碎片删除以节省存储空间。 继续运行中断或失败的分段上传任务消除碎片 OBS提供任务管理功能,当分段上传任务中断或失败时,您可以通过以下多种方式继续运行这些任务,任务完成后,碎片也会随着消除。
为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。例如您为桶设置配额为100G,那么当桶内所有对象的大小总和达到100G后,再上传对象就会因为超过配额导致上传失败。 容量限制只对桶配额设置生效后的对象上传操作有影响, 如果您设置桶配额时,桶配额
为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。例如您为桶设置配额为100G,那么当桶内所有对象的大小总和达到100G后,再上传对象就会因为超过配额导致上传失败。 容量限制只对桶配额设置生效后的对象上传操作有影响, 如果您设置桶配额时,桶配额
为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。例如您为桶设置配额为100G,那么当桶内所有对象的大小总和达到100G后,再上传对象就会因为超过配额导致上传失败。 容量限制只对桶配额设置生效后的对象上传操作有影响, 如果您设置桶配额时,桶配额
obsutil obsutil通过结果清单记录失败的任务,您可以通过结果清单对应的任务号恢复失败的上传任务,从而消除碎片。 具体操作请参考恢复失败的上传任务。 OBS SDK OBS SDK通过记录上传进度提供断点续传,您可以读取记录的进度,继续上传中断或失败的分段上传任务。 具体操作请参考各SDK开发指南中的“断点续传”章节。
HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况
开。 上传前无法确定将要上传文件的大小。 使用分段上传具有以下优势: 提高吞吐量——您可以使用并行上传段以提高吞吐量。 从任何网络问题中快速恢复——较小的段大小可以将由于网络错误而需重启失败的上传所产生的影响降至最低。 暂停和恢复对象上传——您可以随时上传对象段。启动多段上传后,
ROR。 启动presto 步骤如下: 启动hive metastore:hive --service metastore & 启动presto server:bin/launcher start (如何关闭presto服务:bin/launcher stop) 启动presto
} } } ] } } 启动datax。 python /opt/datax/bin/datax.py file2obs.json 父主题: 对接大数据组件
进入专属对象存储页面。 单击“申请资源”,根据界面提示选择存储容量和购买时长。 单击“立即申请”。 确认购买信息后,单击“提交申请”。 提交申请后,我们会启动为您部署专属资源,一般需要2~3个月时间。 专属资源部署和分配完成后,表示订单完成。 您可以登录华为云控制台,使用专属对象存储。也可以在专
子节点:Frequency 是 Frequency 清单文件的生成周期,只支持按天和按周生成清单,第一次配置完桶清单,任务会在一个小时内启动,之后每隔一个周期启动一次。 类型:String 父节点:Schedule 有效值:Daily、Weekly 是 Destination 清单的目标配置。
删除对象 功能说明 删除指定的对象。 按指定的对象名前缀批量删除对象。 删除对象后无法恢复,请谨慎使用。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop
system cannot find the file specified”的上传失败异常,而macOS/Linux操作系统会产生“No such file or directory”的上传失败异常。 文件夹软链接不能形成环,否则上传会以panic的形式退出;如果不希望产生panic,请在
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。 需承担网络
工作流的第一个节点 默认取值: 无 isTest bool 参数解释: 是否是通过启动工作流测试启动的实例。 取值范围: true:通过启动工作流测试启动的实例 false:不通过启动工作流测试启动的实例 默认取值: 无 execution_name String 参数解释: 运行实例的名字
资源无法释放 如果发现使用OBS Android SDK后存在内存泄露或OBS服务端连接未断开等情况,请检查是否正确调用了ObsClient.close以及ObsObject.getObjectContent.close释放资源。 父主题: 异常处理
象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。 详细模式:返回的删除成功和删除失败的所有结果,默认模式。 简单模式:只返回的删除过程中出错的结果。 以下代码展示了如何进行批量删除对象: static OBSClient *client;
文件中通过recordMaxLogSize和recordBackups分别配置。 当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件及日志路径下的日志文件; config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。