检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Web端通过PostObject接口直传OBS 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文
在ECS上通过内网访问OBS方案概述 应用场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。
filename="%E4%B8%AD%E6%96%87.txt"。使用浏览器访问时浏览器将会自动解码。 取值范围: true:启用SDK编码。 false:不启用SDK编码。 默认取值: true 表3 ObjectRepleaceMetadata 参数名称 参数类型 是否必选 描述 contentType
OBS最佳实践汇总 本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS
低频访问存储,归档存储或者删除。 为了存档目的而向OBS上传的某些类型的数据,包括数字媒体存档、金融和医疗记录、原始基因组序列数据、长期数据库备份以及为符合监管要求而必须保留的数据。 一次性删除桶中的大量文件。手动删除对象费时费力,且有数量限制。在桶中配置一条生命周期管理规则,设置定时删除所有文件即可。
动删除这些对象。 在“生命周期管理”对话框中单击“确认”,保存当前的生命周期规则。 相关操作 后续可根据需求对已配置的规则进行编辑、删除、启动和禁用。 父主题: 生命周期管理
jpg”则模拟成“test”文件夹下的文件名了,而实际上,对象名称(Key)仍然是“test/123.jpg”。 上传对象时,可以指定对象的存储类别,如果不指定,默认与桶的存储类别一致。上传后,对象的存储类别可以修改。 在OBS管理控制台和客户端上,用户均可直接使用文件夹的功能,符合文件系统下的操作习惯。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
择“A天内到期”,“B天内到期”(A>B) ,则显示结果按“A天内到期”显示。 筛选条件“隐藏有待支付订单的资源”默认不勾选,可勾选,将有待支付订单的资源隐藏起来。 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费:在
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。
使用视频解析、抽帧截图、媒资转码等模板需要先在MPC中开启桶授权,详情请参见权限说明。 鼠标单击各流程图标下方的小圆圈并长按拖拽,将工作流完整串联起来。 当前仅支持串行工作流。 图1 串联后的完整工作流 单击右上角的“保存”。 在弹框中输入“工作流名称”并单击“确定”。 创建完成的所有同
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
CORS的典型应用场景包括: 通过CORS支持,使用JavaScript和HTML5来构建Web应用,直接访问OBS中的资源,而不再需要代理服务器做中转。 使用HTML5中的拖拽功能,直接向OBS上传文件,展示上传进度,或是直接从Web应用中更新内容。 托管在不同域中的外部网页、样
OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。创建桶时,如果使用的终端节点归属于默认区域华北-北京一(cn-north-1),则可以不指定区域;如果使用的终端节点归属于其他区域,则必须指定区域,且指定的区域必须与终端节点归属的区域一致。当前有效的区域名称可从这里查询。比如初
包含http或https。 白名单Referer为空,黑名单Referer不空时,允许所有黑名单中指定网站以外的其他网站的请求访问目标桶中的数据。 白名单Referer不为空,黑名单Referer为空或不空时,允许在白名单且不在黑名单中的网站的请求访问目标桶中的数据。 当白名单R
并行文件系统是否支持挂载到Windows服务器? 并行文件系统当前仅支持通过obsfs工具挂载至Linux服务器,暂不支持挂载至Windows服务器。 并行文件系统挂载至Linux服务器,具体请参见挂载并行文件系统。 父主题: OBS Browser+和obsutil等工具相关
ssl_verify 验证服务端证书参数。可能的取值: 服务端pem格式根证书文件路径; true:使用默认的CAs验证服务端证书; false:表示不验证服务端证书。 默认为false。 N/A max_retry_count HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5]
获取对象元数据 功能介绍 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据,返回信息包含对象的元数据信息。 获取采用SSE-C加密的对象的元数据时,需要携带SSE-C相关头域,详见表2。 多版本 默认情况下,获取的是最新版本的对象元数据。如果最新版本的对象是删除标记,则
择“A天内到期”,“B天内到期”(A>B) ,则显示结果按“A天内到期”显示。 筛选条件“隐藏有待支付订单的资源”默认不勾选,可勾选,将有待支付订单的资源隐藏起来。 为包年包月资源(资源包)开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的资源包,单击操作列“开通自动续费”。
ckstart/_common/下增加hdfs-site.xml,配置如下(其中endpoint按照桶所在的实际endpoint填写): 启动Druid服务。 父主题: 对接大数据组件