检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内节点间EC冗余的基础上,会同时在多个AZ间再做数据冗余。 父主题: 数据安全、迁移和备份
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
流式上传和文件上传的内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB;基于表单上传提供了基于浏览器表单上传对象的方式。 如果上传的对象权限设置为匿名用户读取权限,对象上传成功后,匿名用户可通过链接地址访问该对象数据。
数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案
例如对象是一个mp4格式的视频文件,则设置ContentType为“video/mp4”;对象是一个jpg格式的图片文件,则设置ContentType为“image/jpeg”。OBS支持的ContentType类型请参见对象元数据Content-Type介绍。
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。
文件系统容量 pfs_size 存储费用 单AZ并行文件系统数据所占用的存储空间容量产生的费用。 多AZ文件系统容量 pfs_size_3az 存储费用 多AZ并行文件系统数据所占用的存储空间容量产生的费用。 特殊计费规则:小额累计 扣费的最小粒度为0.01元。
创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
示例二 假设某用户于2023年7月1日将100GB归档存储数据上传至华北-北京四的OBS存储桶,产生了100次请求,该100GB归档存储类型的数据中包括有10000个大小为24KB的文件,其他文件均大于等于64KB。
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
创建桶 桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。
例如对象是一个mp4格式的视频文件,则设置ContentType为“video/mp4”;对象是一个jpg格式的图片文件,则设置ContentType为“image/jpeg”。OBS支持的ContentType类型请参见对象元数据Content-Type介绍。
父主题: 对接大数据平台
服务端加密:选择“不开启加密”。 企业项目:请先创建企业项目,默认为default企业项目,然后在创建桶时选择对应企业项目。仅企业账号能够配置企业项目。 单击“立即创建”,完成桶创建。
建议您不要针对整个桶开启公共读权限(设置为私有桶),可将单个目录或对象设置为公共读,然后获取对象URL,提供给用户访问。
父主题: 对接大数据组件