检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行文件系统支持的特性 并行文件系统支持的API列表 本节主要介绍并行文件系统和已有的OBS API的兼容情况,并对部分兼容的API进行差异说明。 关于OBS各个API接口的详细介绍,请参见《对象存储服务API参考》。 桶基础操作接口 表1 桶基础操作接口 接口 并行文件系统是否兼容
列举失败结果清单文件 功能说明 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
配置生命周期规则 操作场景 本章节将介绍如何配置生命周期规则。 约束与限制 生命周期规则目前仅支持根据前缀和对象标签进行匹配,不支持通配符匹配、后缀匹配以及正则匹配。 单个桶的生命周期规则条数没有限制,但单个桶中所有生命周期规则的XML描述总大小不能超过20KB。 您最多可以在一
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服
转换桶和对象的存储类别 操作场景 本章节指导用户如何修改桶和对象的存储类别。 约束与限制 桶存储类别仅支持手动修改。对象存储类别支持手动修改和使用生命周期自动转换。 转换存储类别时数据冗余策略保持不变。如果桶或对象是多AZ,那就只能转换成支持多AZ的存储类型(标准存储、低频存储支
产品功能 表1列出了对象存储服务OBS提供的常用功能特性。 在使用对象存储服务OBS之前,建议您先了解对象存储服务OBS的基本概念,以便更好地理解对象存储服务OBS提供的各项功能。 表1 对象存储服务OBS功能概览 功能名称 功能描述 发布区域 OBS 2.0支持 OBS 3.0支持
桶清单 使用场景 桶清单功能可以定期生成桶内对象的相关信息,保存在CSV格式的文件中,并上传到您指定的桶中,方便您管理桶内对象。目标桶和源桶可以是同一个桶。 指定的对象内容包括对象版本、大小、上次修改时间、存储类别、标签、加密状态等。 支持对桶清单加密,加密方式为SSE-KMS方式。
配置参数说明 通过配置文件.obsutilconfig,您可以设置obsutil中的各项配置参数。 配置文件格式: endpoint=<value> ak=<value> sk=<value> token=<value> endpointCrr=<value> akCrr=<value>
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。