检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ons中增加回调参数。这种方式支持在回调消息体中使用用户自定义变量,自定义变量通过“x:”前缀携带。 如果通过policy携带,则不需要增加表单元素。但是不支持用户自定义变量,仅能使用系统变量。 通过表单携带的回调参数如表1所示。 表1 表单回调参数 参数名称 描述 是否必选 callbackUrl
源桶和目标桶的桶版本号都必须是3.0。 对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS Browser+、obsutil方式复制桶配置信息。 使用OBS控制台 复制桶策略 复制CORS规则
标签 我可以通过标签搜索桶吗? 我可以使用标签做什么?
同一个桶标签的键不能重复,但是值可以重复,并且可以为空。 设置桶标签后,大约需要等待3分钟才能生效。 使用方式 OBS支持通过控制台、API、SDK方式配置桶标签,不支持通过OBS Browser+、obsutil方式配置桶标签。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文
下载对象简介(Go SDK) OBS Go SDK提供了丰富的对象下载接口,可以通过以下方式下载对象: 流式下载 范围下载 限定条件下载 断点续传下载 下载对象-流式下载(Go SDK) 下载对象-范围下载(Go SDK) 下载对象-限定条件下载(Go SDK) 下载对象-断点续传下载(Go
资源。数组长度不超过10,每个字符串长度不超过128,规则如下: 可填 * 的五段式:::::,例:"obs:::bucket:*"。 region字段为*或用户可访问的region。service必须存在且resource属于对应service。 当该自定义策略为委托自定义策略时,该字段类型为Object,值为:"Resource":
对象操作 在OBS中,用户操作的基本数据单元是对象。本章介绍对象的一系列管理操作。 右键单击对象列表的空白处,通过快捷菜单中的创建文件夹,上传文件,上传文件夹选项管理对象。 新建文件夹 上传文件或文件夹 搜索文件或文件夹 下载文件或文件夹 复制文件或文件夹 移动文件或文件夹 删除文件或文件夹
操作对象的平均值。 执行批量任务时,针对常见的网络问题如timeout、EOF等,建议通过增量操作(cp命令中的-u参数)进行重试;同时也可以根据失败的批量任务最终输出的taskID信息,通过恢复失败任务(cp命令中的-recover参数)实现对失败任务的重试; 父主题: 最佳实践
的对象,例如 texta/file1.txt 和 texta/file2.txt。 此规则指定了两种生命周期操作:在对象创建90天后将其转换为低频访问存储类型,在对象创建120天后将其删除。 xml: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 <
应上传下载请求数较多,此时可以通过适当增大最大并行任务数进行调优;由于文件大小较小可能无法触发分段上传/下载的大小阈值,因此该场景下调整单任务最大并发数及分段大小效果不明显。 针对用户侧存在大文件进行上传下载的场景,由于单个文件大小较大,此时可以通过适当调整上传/下载的段大小以及单任务的最大并发数来进行调优。
SDK的发布软件包中获取默认的日志配置文件log4j2.xml,并在该文件基础上进行修改定制。 日志路径 OBS Java SDK的日志路径是通过log4j2.xml指定的,默认存放于JDK系统变量user.dir所代表的路径下。通常包含三个日志文件: 文件名 说明 OBS-SDK.interface_north
量超过上限,将会复制失败,请先删除多余触发器再进行复制。 单击“确定”,将源桶的事件触发器复制到当前桶。 相关操作 除了通过事件触发器触发工作流外,还可以通过API触发,实现单个对象粒度的复杂任务处理,可以指定某个对象立即执行某个特定的工作流。 父主题: Data+
了该对象,结算时桶拥有者看到桶内无对象,但实际已产生流量。 可能原因二:桶中有多段上传产生的碎片,并未合并成为对象,碎片也会产生流量。可以通过列举桶中多段任务或在控制台碎片管理排查是否存在碎片。 可能原因三:对OBS发送请求失败,返回4xx错误(403除外),会同时返回消息体,该消息体会产生流量。
客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除。 命令结构 Windows操作系统 删除单个对象 obsutil rm obs://bucket/key [-f] [-versionId=xxx]
rk、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 MRS与OBS对接的具体操作,请参见华为云MRS对接OBS。 Cloudera
描述 recover 附加参数,必选 待恢复下载任务结果清单文件的任务号。 说明: 任务号(TaskId)可在每次下载任务运行完毕后获取,或者通过结果清单文件名查询(文件名除去后缀.txt后的后36位)。 待恢复的下载任务会从结果清单的文件夹中查找,结果清单文件夹的路径参考附加参数o。
动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 续费更多相关详情请参见续费管理。 如何查看资源到期时间 进入“续费管理”页面,可通过到期时间过滤即将到期的资源,在续费列表“倒计时”查看资源具体的到期时间。 图2 到期时间详情 父主题: 续费
Turbo存储空间进行容量扩容。 SFS Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击要扩容的文件系统所在行的“容量调整”或“扩容”,弹出对话框。
flink-obs-fs-hadoop的实现基于flink的plugin加载机制(flink从1.9开始引入),flink-obs-fs-hadoop必须通过flink的plugin机制进行加载,即将flink-obs-fs-hadoop放入/opt/flink-1.12.1/plugins/obs-fs-hadoop目录下。