检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单个华为云账号默认的OBS读写带宽(GET请求带宽与PUT请求带宽的总和)上限是16Gbit/s(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低于16Gbit/s,那么节点带宽会先受虚机带宽限制,需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。
本章介绍OBS的性能指标和使用限制。 访问带宽和QPS 表1 访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写(GET/PUT)带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 如果您的业务有更大的带宽需求,请提交工单申请。 每秒请求数(Query
get_mirror_range_bandwidths 镜像回源分片带宽 该指标用于统计统计镜像回源分片请求带宽。 单位:字节/s ≥ 0 byte/s 用户 1分钟 get_mirror_fetch_bandwidths 镜像回源抓取带宽 该指标用于统计镜像回源抓取请求带宽。 单位:字节/s ≥ 0 byte/s
get_mirror_range_bandwidths 镜像回源分片带宽 该指标用于统计统计镜像回源分片请求带宽。 单位:字节/s ≥ 0 byte/s 用户 1分钟 get_mirror_fetch_bandwidths 镜像回源抓取带宽 该指标用于统计镜像回源抓取请求带宽。 单位:字节/s ≥ 0 byte/s
使用单链接限速限制下载流量 使用场景 为了避免因为客户端下载对象时占用较大的带宽,而影响其他应用的网络带宽。您可以使用OBS单链接限速功能,通过限制下载的流量,保证其他应用的网络带宽。 本章将介绍以下限速方式 通过SDK请求限速 通过对象URL限速 通过签名URL限速 通过Header头域携带限速
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。
参数实现对上传/下载操作进行限速。 参数具体描述可参考配置参数说明,默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带宽及上传/下载任务的并发配置,具体调优方案可以参考obsutil性能调优最佳实践。 需要注意的是,rateLimitThreshold参数指
表1 搬迁方案 搬迁方式 适用数据量 要求 耗时 费用 OBS工具方式 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式 单次小于8TB的数据量 需要用户单独购买CDM服务
OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。 同时,OBS控制台支持监控账号下的资
用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶,我
单链接限速(Go SDK) 功能说明 客户端访问OBS对象时占用大量带宽,会影响其他应用的正常使用,可以通过使用单链接限速功能解决该问题。 目前仅支持GetObject方法。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义
只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。
请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 OBS工具方式 OBS工具方式适用于百GB规模的数据搬迁。OBS提供OBS Browser+、obsutil等多种客户端工具,方便用户在本地直接将数据上传至OBS。由于上传需要占用用户公网带宽,为不影响用户
ObsConfiguration.setHttpDispatcher N/A 建议值为N/A的表示需要根据实际情况进行设置。 如需提高大文件上传下载性能,在网络带宽满足的情况下,可对socketWriteBufferSize,sockeReadBufferSize,readBufferSize,wri
Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。并行文件系统提供毫秒级别访问时延、TB/s级别带宽和百万级别的IOPS、高兼容性、高性能、高可扩展性、高可靠性的能力。 与对象桶的结构不同,并行文件系统访问路径中的每级目录都是一个独立的目
System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数
System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数
System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 创建并行文件系统(Harmony SDK) 列举并行文件系统(Harmony