检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取对象元数据 功能介绍 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据,返回信息包含对象的元数据信息。 获取采用SSE-C加密的对象的元数据时,需要携带SSE-C相关头域,详见表2。 多版本 默认情况下,获取的是最新版本的对象元数据。如果最新版本的对象是删除标记,则
Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。 并行文件系统的详细介绍和使用说明,请参见并行文件系统。 父主题: 基本概念
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。 搬迁方案 针对不同的搬迁场景及需求,华为云提供如表1所示的几种搬迁方案。 表1 搬迁方案 搬迁方式 适用数据量 要求 耗时
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。 请求消息样式 1 2 3 4 HEAD / HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization:
减少因误操作导致的数据丢失风险 华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据。为了避免误删操作导致业务无法正常运行,本文提供了几种规避方式,您可结合自身业务选择合适的方案。 以下建议并不等同完整的安全解决方案,可能不适合您的环境或不满足您的环
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 创建ObsClient实例 var
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下(流式上传、文件上传、分段上传),或复制对象时进行设置。 开发过程中,
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketMetadata接口获取桶元数据。以下代码展示如何获取桶元数据: //
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
以前设置的元数据是否被移除。 取值范围: true:设置为true后,此次设置元数据请求调用成功后,会把其他以前设置的元数据删除(标准元数据不受影响,自定义元数据只会保留新设置的)。 false:设置为false后,此次设置元数据请求调用成功后,保留以前设置元数据(标准元数据不受影响,自定义元数据只会保留新设置的)。
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketMetadata接口获取桶元数据。以下代码展示如何获取桶元数据: //
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。
nt、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
printStackTrace(); } } } 相关链接 关于获取桶元数据的API说明,请参见获取桶元数据。 更多关于获取桶元数据的示例代码,请参见Github示例。 获取桶元数据过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 桶和对象相关常见问题请参见桶和对象相关常见问题。
部门公共数据权限管理 企业日常有大量工作文件需要存档,但并不希望花费大量的人力、物力在存储资源上。因此该企业开通了OBS,用于存储日常工作文件,并希望为不同职能部门的员工设置不同的访问权限,以此达到不同部门人员访问公司数据的权限隔离。 对于存储在OBS中的部门公共数据,企业希望管
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS