检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开。 上传前无法确定将要上传文件的大小。 使用分段上传具有以下优势: 提高吞吐量——您可以使用并行上传段以提高吞吐量。 从任何网络问题中快速恢复——较小的段大小可以将由于网络错误而需重启失败的上传所产生的影响降至最低。 暂停和恢复对象上传——您可以随时上传对象段。启动多段上传后,
ROR。 启动presto 步骤如下: 启动hive metastore:hive --service metastore & 启动presto server:bin/launcher start (如何关闭presto服务:bin/launcher stop) 启动presto
} } } ] } } 启动datax。 python /opt/datax/bin/datax.py file2obs.json 父主题: 对接大数据组件
进入专属对象存储页面。 单击“申请资源”,根据界面提示选择存储容量和购买时长。 单击“立即申请”。 确认购买信息后,单击“提交申请”。 提交申请后,我们会启动为您部署专属资源,一般需要2~3个月时间。 专属资源部署和分配完成后,表示订单完成。 您可以登录华为云控制台,使用专属对象存储。也可以在专
子节点:Frequency 是 Frequency 清单文件的生成周期,只支持按天和按周生成清单,第一次配置完桶清单,任务会在一个小时内启动,之后每隔一个周期启动一次。 类型:String 父节点:Schedule 有效值:Daily、Weekly 是 Destination 清单的目标配置。
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。 需承担网络
删除对象 功能说明 删除指定的对象。 按指定的对象名前缀批量删除对象。 删除对象后无法恢复,请谨慎使用。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop
system cannot find the file specified”的上传失败异常,而macOS/Linux操作系统会产生“No such file or directory”的上传失败异常。 文件夹软链接不能形成环,否则上传会以panic的形式退出;如果不希望产生panic,请在
工作流的第一个节点 默认取值: 无 isTest bool 参数解释: 是否是通过启动工作流测试启动的实例。 取值范围: true:通过启动工作流测试启动的实例 false:不通过启动工作流测试启动的实例 默认取值: 无 execution_name String 参数解释: 运行实例的名字
象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。 详细模式:返回的删除成功和删除失败的所有结果,默认模式。 简单模式:只返回的删除过程中出错的结果。 以下代码展示了如何进行批量删除对象: static OBSClient *client;
文件中通过recordMaxLogSize和recordBackups分别配置。 当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件及日志路径下的日志文件; config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。
代理设置失效(C SDK) sdk Windows端 demo中设置代理时出现如下问题,程序报错且代理设置失败。 问题根因:某些sdk版本demo头文件eSDKOBS.h与sdk的eSDKOBS.h未同步更新,导致option中设置的代理失效。 解决方法: 将“yourSDKpa
getWorkflowExecution 查询工作流实例详细。 恢复失败状态的工作流实例 WorkflowClient.restoreFailedWorkflowExecution 当且仅当一个工作流实例是执行失败状态才能执行恢复操作。恢复后,工作流实例将从上次失败的状态处继续执行,而已经执行过的状态不会再执行。
限定条件下载 下载对象时,可以指定一个或多个限定条件,满足限定条件时则进行下载,否则抛出异常,下载对象失败。 您可以使用的限定条件如下: 参数 作用 OBS iOS SDK对应方法 ifModifiedSince 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 request
目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。 ObsClient.getObjectMetadata接口的使用可参见18.4-获取对象元数据。 父主题: 常见问题(Java SDK)
i/o timout、EOF错误原因定位及解决 i/o timeout、EOF报错是两种常见的因为网络原因导致请求失败的场景,通常是由于网络波动等原因导致;常见的定位思路包括: 通过ping桶域名(bucketName.endpoint)判断本地到指定访问的桶域名之间的网络是否不通;如果不通优先排查本地网络问题。
资源无法释放 如果发现使用OBS Android SDK后存在内存泄露或OBS服务端连接未断开等情况,请按如下办法解决: 1. 请检查是否正确调用了ObsClient.close。 2. 请检查是否正确调用了ObsObject.getObjectContent.close释放资源。
下载对象-限定条件下载(Go SDK) 功能说明 下载对象时,可以指定一个或多个限定条件,满足限定条件时则进行下载,否则返回异常码,下载对象失败。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:objec
x-obs-epid String 参数解释: 当前桶的企业项目ID,开通企业项目的用户可以从企业项目服务获取。 约束限制: 格式为uuid,未开通企业项目的用户可以不带该头域。 取值范围: 获取方式参见如何获取企业项目ID 。 默认取值: 无 x-obs-az-redundancy
在不同操作系统,下载obsutil的方式也有所不同,下载后无需安装,即可开始使用。 执行以下命令前要求云服务器已连接到互联网,否则安装obsutil客户端失败。 Windows操作系统 单击下载地址将obsutil工具下载至本地。 下载完成后将其解压。 使用cmd进入该解压后的文件夹路径,执行obsutil命令。