检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题定位简介 obsutil提供多种方式帮助用户自助进行日常问题分析和定位,具体方式及其说明如表1所示。您通常需要结合多种方式以准确定位问题。 表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
常见问题 是否支持同步删除文件 列举接口是否支持保存结果到本地文件 列举桶内对象返回的大小与控制台桶内对象大小不一致 批量任务执行失败如何确认错误信息 i/o timout、EOF错误原因定位及解决 批量任务进度条中出现问号的原因 是否支持多个config文件在同一个目录下 Wi
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储
操作指南 挂载并行文件系统 取消挂载并行文件系统
异常处理 挂载并行文件系统失败 取消挂载并行文件系统失败
产品咨询 如何获取OBS的终端节点? 我可以在OBS中存储多少数据? 我如何选择将数据存储在哪个区域? OBS支持使用HTTPS协议访问吗? OBS中的数据可以让其他用户访问吗? 访问OBS链接提示告警信息的原因和解决办法 已删除的数据是否可以恢复? 访问OBS域名失败,连接不上CA证书
使用单链接限速限制下载流量 使用场景 为了避免因为客户端访问OBS内的对象时占用较大的带宽,而影响其他应用的网络带宽。您可以使用OBS单链接限速功能,通过限制下载的流量,保证其他应用的网络带宽。 本章将介绍以下限速方式 通过SDK请求限速 通过对象URL限速 通过签名URL限速 通过Header头域携带限速
FAQ 如何在不支持window.File的浏览器上传文件? 如何使对象可以被匿名用户访问? 如何获取桶的静态网站访问地址? 如何获取对象URL? 公网环境下如何提高上传大文件速度? 如何暂停断点续传上传任务? 如何在不暴露AKSK的条件下实现与OBS交互? 如何上传base64编码的图片
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
常见问题 同一个并行文件系统可以挂载至多个客户端吗? 可以。 同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问?
OBS是否支持流量监控? OBS支持流量监控功能: 通过OBS控制台的用量统计,能监控统计周期内的流量指标。查看方法,请参见查看用量统计。 通过云监控CES,能监控OBS包括流量指标在内的如下指标: 表1 OBS支持的监控指标(请求类) 指标ID 指标名称 指标含义 取值范围 测量对象
日志简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶设置访问日志记录,设置之后对于桶的访问会被记录成日志,日志存储在OBS上您指定的目标桶中。 出于分析或审
问题定位 问题定位简介 日志文件 结果清单 返回码
日志简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶设置访问日志记录,设置之后对于桶的访问会被记录成日志,日志存储在OBS上您指定的目标桶中。 出于分析或审
费用账单 如果您需要查看OBS详细的费用明细,您可以前往费用中心进行查看。费用账单包含所有的按需和资源包费用明细。 账单上报周期 资源包购买完成支付后,会实时上报一条账单到计费系统进行结算。 OBS相关计费项会按照固定周期上报使用量到计费系统进行结算。OBS按小时进行结算,计费资源的扣费时间可能会滞后于结算周期。
对象管理 对象概述 上传对象 下载对象 使用单链接限速限制下载流量 在线预览对象 管理对象 删除对象 管理文件夹
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
基本概念 对象 桶 并行文件系统 专属对象存储 访问密钥(AK/SK) 终端节点(Endpoint)和访问域名 区域和可用区
服务端加密 服务端加密简介 使用服务端加密方式上传文件