检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例场景:每天21:30进入/root目录下,执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下,并且正常开启了crond(定时任务计划)服务。如果是windows用户请参考配置windows定时任务。 运行service crond
由于缓存的存在,对用户、用户组以及企业项目授予OBS相关的角色和策略后,大概需要等待10~15分钟权限才能生效。 IAM中为各云服务预置了系统权限,方便您快速完成基础权限配置,表1为OBS的所有系统权限。 如果系统预置的OBS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可
0000 网关或代理服务器验证失败,请输入正确的验证信息。 Obs.0001 服务端内部出错,请联系客服处理。 Obs.0002 网关或代理服务器出现错误,请联系客服处理。 Obs.0003 服务器繁忙,请稍后重试。 Obs.0004 请求的桶名已经存在。桶的命名空间是系统中所有用户公用的,选择一个不同的桶名再重试一次。
ETIMEDOUT”错误,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务。 解决方案: 请检查服务地址是否为空,或者是非法的服务器地址。 请检查网络状况。 检查服务端是否返回了异常的结果,并联系服务端运维团队。 父主题: 异常处理(Node.js SDK)
归档日志文件 功能说明 将日志文件归档到本地,或归档到指定的桶。 命令结构 Windows操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
是否支持修改对象名称(重命名) 支持。可以使用mv移动命令,示例如下: 以Windows操作系统为例,运行obsutil mv obs://bucket-test/key obs://bucket-test/key2 ,将对象key重命名为key2。 obsutil mv obs://bucket-test/key
授权码列举对象 功能说明 使用授权码查询桶内对象,返回对象列表将按照对象名以字典序排列。 命令结构 Windows操作系统 直接输入授权码 obsutil share-ls authorization_code [-ac=xxx] [-prefix=xxx] [-s] [-d] [-marker=xxx]
删除桶内全部分段上传任务 本章节案例中的所有命令均以Linux操作系统为例,提供删除桶内全部分段上传操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1
准取回”,恢复有效期为10天。 计费构成分析 在ECS上可以通过公网和华为云内网两种网络访问OBS,内网访问需要云服务器与OBS桶放在一个区域。因此华北-北京四的服务器访问华北-北京四的OBS桶,属于内网访问,华东-上海一的服务器访问华北-北京四的OBS桶,属于外网访问。表1是该用户7月份的费用构成。
此IP值仅用于举例,使用时请根据您的实际情况填写IP值。 说明: 如果需要同时配置多个IP地址(IP地址段),请以英文逗号隔开。 只能用于限制源IP,不能用于区分内外网。 如果您通过ECS云服务器访问OBS,且ECS云服务器和OBS同属于华北-北京一,需要使用SourceIP条件键限制指定IP访问,请提交工单寻求技术支持。
频繁造成服务器压力大、数据延时等问题。为了解决以上问题,可以使用追加写的方式上传对象,就是在指定桶内的一个对象尾追加上传数据,做到及时可读。当不存在相同对象键值的对象时,则创建新对象。 通过追加上传,可在视频数据产生之后及时将数据上传至同一个Object,而客户端只需要定时获取该
GET 请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT 请求服务器更新指定资源,如创建桶、上传对象等。 POST 请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器返回指定资源的概要,如获取对象元数据等。
Spark应用对接OBS,需要在YARN集群中进行core-site.xml配置,包括:ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”YARN集群,再重启Spark集群的“部署客户端配置”。 Hive集群对接OBS配置项 Hive应用对接OBS,需要在Hive集群中进行core-site
传任务,上传进度会丢失,任务重新请求上传。 OBS中存储的碎片需要收费。 操作步骤 登录OBS Browser。 选中待配置的桶,单击“更多 > 碎片管理”。 在“碎片管理”对话框中,单击“检测”刷新碎片列表。选择需要删除的碎片,单击右侧的,删除碎片。 也可单击列表上方“删除”,清除所有碎片。
Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。 Obs
创建文件夹 功能说明 在指定桶内或本地文件系统中创建文件夹。 创建重名文件夹,不会报错,且文件夹内已存在的内容不发生变化。 命令结构 Windows操作系统 在指定桶内创建文件夹 obsutil mkdir obs://bucket/folder[/subfolder1/subfolder2]
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
删除分段上传任务 功能说明 通过分段上传任务的ID,删除指定桶中的分段上传任务。 按指定的对象名前缀批量删除分段上传任务。 命令结构 Windows操作系统 删除单个分段上传任务 obsutil abort obs://bucket/key -u=xxx [-f] [-fr] [-o=xxx]
[-crr] [-config=xxx] 注意:通过-i、-k、-e配置用户认证信息后,linux等操作系统的history命令可查询配置参数值,请谨慎使用该操作。 运行示例 以Windows操作系统为例,运行obsutil config -interactive,更新默认配置文件的访问密钥和OBS服务地址。
如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对