检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
b服务等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。 容量 EB级别 TB级别 PB级别 时延 毫秒级 亚毫秒级 3~10ms IOPS/TPS 千万级 单盘 128K 单文件系统 10K 带宽 TB/s级别 MB/s级别 GB/s级别
暂不支持DWR数据工坊对接 并行文件系统可以挂载至多个Linux服务器实现并行读,但不建议使用此方法并发写。 性能限制 并行文件系统每TB默认提供最大带宽10MB/s。 命名限制 对并行文件系统的文件进行命名时,不允许连续使用两个“/”字符。例如,将文件命名为“test//123.txt”,该命名不符合规范,系统会出现报错。
优化Go SDK代码。 是 v3.21.12 新功能 新增obs.WithTrafficLimitHeader接口,此接口用于限制单个连接的带宽。 是 低于v3.21.12(停止配套,EOM) - 版本过低,已停止维护,建议及时升级版本。 - 其他使用前须知 请确认您已经熟悉OBS
在Linux ECS上使用obsutil通过内网访问OBS 当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。 资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+
千亿对象,千万并发:OBS通过智能调度和响应,优化数据访问路径,并结合事件通知、传输加速、大数据垂直优化等,为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。 图2 千亿对象,千万并发的数据访问体验 简单易用,便于管理:OBS支持标准REST API、多版本SDK和数
统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。 方案优势
球各地的情况,使用加速功能可以加快响应速度 文件下载加速 对于有文件下载业务的网站、下载工具、游戏客户端、APP商店等,加速功能可提供更高带宽和传输速度,减少下载时间 点播加速 对于提供音视频点播服务的场景,如在线教育、在线视频分享、音乐/视频点播等,加速功能可降低播放缓冲时间,提高观看体验
备份目的。 数据访问 在ECS上通过内网访问OBS 在ECS上可以通过内网访问OBS,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。 通过CDN加速访问OBS OBS提供低成本的存储,华为云CDN可以提供网站加速、文件下载加速和点播加速。将数据存放在OBS中然后通过配
OBS配合弹性云服务器(ECS)、弹性伸缩(AS)、云硬盘(EVS)、镜像服务(IMS)、统一身份认证服务(IAM)和云监控服务(CES),为HPC提供大容量、大单流带宽、安全可靠的解决方案。 在HPC场景下,企业用户的数据可以通过直接上传或数据快递的方式上传到OBS。同时OBS提供的文件语义和HDFS语义支持将OBS直接挂载到HPC
支持多段上传。 可以使用本地磁盘作为缓存提高IO性能。 约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器,但数据一致性需由您自行
下面将为您介绍通过CDN加速OBS视频点播方案,包含方案的应用场景、架构和优势、约束限制,详细的资源规划和操作步骤。 应用场景 传统的点播服务会加大服务器的负载,并消耗巨大的带宽资源,同时又无法保证终端用户访问时需要的高速体验。 将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。
并行文件系统(Parallel File System)是OBS提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。您可以按照标准的OBS接口读取并行文件系统中的数据,也可以利用obsfs工
对应的配置信息为配置文件中的:ak/sk/token/endpoint。 须知: 开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 vlength 附加参数,可选 复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。
对应的配置信息为配置文件中的:ak/sk/token/endpoint。 须知: 开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 vlength 附加参数,可选 复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。
桶用量统计 OBS支持在对象存储控制台上查看所有桶或单个桶的存储、流量和请求的情况。 此功能需要在区域级项目配置云监控的权限策略ces:metricData:list,才能看到用量统计。配置方法请参见Cloud Eye自定义策略。 使用场景 OBS为您提供了如表1所示的几种统计分析项,帮助您了解如下信息:
对应的配置信息为配置文件中的:ak/sk/token/endpoint。 须知: 开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 vlength 附加参数,可选 复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。
资源和成本规划 表1 资源和成本规划 资源 资源说明 数量 费用 全站加速WSA 提供全站加速功能,加速数据上传下载。 NA 基础服务计费:流量或带宽费用,该最佳实践默认按流量阶梯计费,您也可以在WSA服务中购买预付费流量包,更多计费详情请参见价格详情。 增值服务计费:全站加速请求数费用,详情请参见价格详情。
对应的配置信息为配置文件中的:ak/sk/token/endpoint。 须知: 开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 vlength 附加参数,可选 复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。
取对象长度-1,单位为字节。 取值范围: 无 默认取值: 无 upload_limit uint64_t 可选 参数解释: 对单链接请求的带宽限制。 约束限制: 无 取值范围: [819200,838860800],单位 bit/s。 默认取值: 无 expires int64_t
长度-1,实际仍取对象长度-1,单位为字节。 默认取值: 无 upload_limit uint64_t 可选 参数解释: 对单链接请求的带宽限制。 约束限制: 无 取值范围: [819200,838860800],单位 bit/s。 默认取值: 无 expires int64_t