检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
但在实际操作中,为了进一步提升上传下载性能,可根据文件大小、网络情况等因素进行调整,以获得最大传输效率并能保证传输任务顺利完成。
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。
表1 OBS、EVS、SFS服务对比 对比维度 对象存储服务 云硬盘 弹性文件服务 概念 提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。
但在实际操作中,为了进一步提升上传下载性能,可根据文件大小、网络情况等因素进行调整,以获得最大传输效率并能保证传输任务顺利完成。
我的OBS桶性能是否会受其他用户业务的影响? 不会。 OBS对不同的桶之间做了隔离,多个桶之间不会相互影响存储性能。 OBS对不同账号的访问做了性能隔离,不同账号之间不会出现性能干扰或影响。 父主题: 产品咨询
(EVS)、镜像服务(IMS)、统一身份认证服务(IAM)和云监控服务(CES),为HPC提供大容量、大单流带宽、安全可靠的解决方案。
并行文件系统提供毫秒级别访问时延、TB/s级别带宽和百万级别的IOPS、高兼容性、高性能、高可扩展性、高可靠性的能力。
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。
使用随机前缀对象名的方法,请参见性能优化最佳实践。 如果您的业务有更大的QPS需求,请提交工单申请。
这是因为: OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高。 建议您: 为了提升您的体验,建议清理历史任务数据。 清理方法是在任务管理窗口,选中已完成任务然后删除,如图1所示。 图1 删除已完成任务 父主题: 常见问题
OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗?
创建并行文件系统(Java SDK) 功能说明 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算
OBS Browser+是OBS Browser的升级版,提供全新的UI界面,提供多种登录登出方式,全新的用户体验;OBS Browser+比OBS Browser性能更优,效率更高,体验更佳。 父主题: 常见问题
出于DNS解析性能和OBS服务可靠性的考虑,不允许将endPoint设置为IP,必须使用域名访问OBS服务。 父主题: 初始化
列举并行文件系统(Java SDK) 功能说明 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算
Node.js SDK) 上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降
的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式(在线) 单次小于8TB的数据量 需要用户单独购买CDM服务 1TB~8TB/天(取决于网络和数据读取源的读写性能
x-obs-content-sha256头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法)。
(Java SDK) 上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。