检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
模型,为您定制适合超大规模数据迁移的方案。 OMS方式 OMS是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新增的对象,降低成本。 图1 OMS方式迁移数据示意图 创建OBS桶 登录OBS控制台,创建桶用于存放迁移数据。
在备份业务节点,负责直接将备份数据存储至OBS。 OBS 在备份场景下OBS负责存储备份数据,桶是OBS中存储数据的容器,最终数据都存储在OBS桶中。 一个CommCell是一个备份管理域 ,是软件的逻辑组合 ,包含获取数据 、传输数据 、管理数据和信息的所有软件组件。 备份流程
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
等。 总览页在查询数据时,可能会出现多个数据不一致的情况,具体说明如下所示。 数据不一致的情况说明 标准存储量+低频访问存储量+归档存储量不等于总存储量,可能的原因有: 数据来源不一致:总存储量数据来源于OBS实时数据,标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES(OBS上报至CES的数据)。
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
终端用户A通过浏览器或APP发出请求数据,经DNS解析转向CDN节点。 CDN节点从OBS桶中拉取数据,OBS返回数据。 数据返回至终端用户A。 终端用户B访问同一数据,通过浏览器或APP发出请求数据,经DNS解析转向CDN节点。 经过终端用户A的访问,CDN节点有缓存数据,直接返回所需数据至终端用户B。
目录分享 如果您想将一个文件夹分享给其他人,同时希望能够指定有效期,OBS Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码
OBS中的数据可以让其他用户访问吗? 可以。 对于桶,可以通过桶ACL和桶策略授予其他用户桶的读取权限,其他用户即可访问该桶。 对于对象,可以通过对象ACL,对象策略和桶策略来授予其他用户对象的读取权限,或者设置对象分享功能,其他用户即可访问该对象。 父主题: 产品咨询
者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient.putObject接口,当数据源是非FileInputStream的其他InputStream时,由于数据流不能回读,当发生IO异常时,SDK不会进行重试,需要上层应用程序自行重试。 ObsClient.g
作,不需下载占用空间巨大的本地图片处理软件即可直接在线对图片进行处理。 例如,可以随时随地在线对在云相册中的图片进行效果、缩略设置后,即刻在线将图片分享给好友、同事等。 需要频繁访问图片数据的购物网站等,可以使用图片处理对图片在线进行简单操作后,使用CDN加速,后续请求可以直接从CDN下载,提高访问效率。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
部门之间桶资源隔离。 搬迁本地数据至OBS 本章节根据用户本地(个人电脑或自建存储服务器)数据大小,介绍了几种将本地数据搬迁至OBS的方式,并针对不同方式提供了对应操作流程及指导。 迁移第三方云厂商的数据至OBS 本章节根据存储在第三方云厂商的数据量及迁移场景,介绍了几种迁移方式
ge下载整个多段上传对象的某部分数据。 合并完成的多段上传数据可以通过已有的删除对象接口,删除整个多段上传对象的所有分段数据,删除后不可恢复。 合并完成的多段上传数据不记录整个对象的MD5作为Etag,在下载多段数据或List桶内对象看到的多段数据其Etag的生成方式为:MD5(
Web端通过PostObject接口直传OBS 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OB
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 设置在线预览请参见如何在浏览器中在线预览OBS中的对象。 当前联邦子账号不支持在console界面创建style,如需创建请使用主账号。
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:Hado
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2