正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询账单时,为什么会有大量的公网流出流量? 根据账单的使用量类型来区分,OBS的公网流出流量主要包含标准存储公网流出流量、低频访问存储公网流出流量、归档存储公网流出流量、深度归档存储公网流出流量。 这几种公网流出流量产生的流量费用来源如下: 标准存储公网流出流量:通过互联网下载标
90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文件夹中的对象大小均匀。可能原因为数据已经下载完成
标准存储量+低频访问存储量+归档存储量不等于总存储量,可能的原因有: 数据来源不一致:总存储量数据来源于OBS实时数据,标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES(OBS上报至CES的数据)。 总存储量数据 <= (标准存储量+低频访问存储量+归档存储量) 获取总存储量数据时,存在部分桶容量获取失败的情况。
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
BS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段: 客户端发出上传对象请求,请求中携带回调参数。 OBS接受到客户端的上传请求,执行上传对象操作。对象上传成功后,OBS封装回调请求。
通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载,而不能在线预览,请参考如何在浏览器中在线预览OBS中的对象?解决。 如果您是对象的拥有者,不能通过URL访问对象,请检查如下内容: 如果您是自定义对象的URL,请检查对象URL中是否
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计
上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。 合并段或取消分段上传任务。 分段上传的主要目的是解决大文件上传或网络条件较差的情况。下面的代码示例展示了如何使用分段上传并发上传大文件: // 引入obs库 // 使用npm安装 const
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践:
Protocol,FTP)当前广泛应用于个人和企业场景,而随着使用时间越来越长,用户越来越多,本地搭建的FTP服务器都会面临空间使用量增长过快,扩容成本高等问题,增加了IT运维管理的难度。 文件传输协议是用于在网络上进行文件传输的一套标准协议,使用客户/服务器模式。它属于网络传输协议的应用层。文件传送(file transfer)和文件访问(file
购买CDM服务,即创建CDM集群,用于管理连接与作业。 配置连接与作业 在创建CDM集群中创建一个源连接和一个目的连接,分别与用户本地数据源和云端OBS连接。然后再创建CDM作业,执行从本地数据搬迁到云端OBS的任务。 启动数据传输 运行CDM作业,启动数据传输。用户可以通过作业管理界面查看作业进度。 CDM方式示例:金融大数据咨询业务数据迁移
归档数据的长期存储,存储单价更优惠 深度归档数据的长期存储,存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象 网盘应用、企业备份、活跃归档、监控数据 档案数据、医疗影像、视频素材、带库替代 长期不访问的数据存档场景 设计持久性 99.999999999% 99.999999999%
到OBS服务端的网络健康状况; DNS解析出的OBS服务域名无法访问,解决方法:联系OBS运维团队; SDK依赖底层库Axios的兼容性问题,解决方法:使用浏览器表单上传,或联系OBS运维团队。 请求超时 timeout of xxx exceeded 此类错误一般有两种原因:
图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。
ark等)兼容对接。 方案优势 相比传统企业在本地IDC机房部署大数据业务,华为云数据存算分离方案的主要优势如表2。 表2 华为云大数据存算分离相比传统大数据方案的优势 序号 主要优势 详细描述 1 融合高效,协同分析 通过统一的权限控制,实现多集群间的数据共享。 数据“0”拷贝。
也支持通过部署在弹性云服务器中的OBSA,执行大数据场景业务。 应用场景 并行文件系统提供高兼容性、高性能、高可扩展性、高可靠性的能力。 主要的应用场景如下: 大数据:日志分析、内容推荐、运营报表、用户画像、交互式分析。 并行文件系统使用方式 并行文件系统提供管理控制台、OBSA以及RESTful
File)是“可交换图像文件”的缩写,在一些相机或手机拍摄的图片中会含有Exif信息。Exif信息是嵌在JPEG或TIFF格式的图片内的一组参数,主要包括图片在拍摄时的参数如相机型号、拍摄时间、拍摄模式等,还有缩略图和其他属性信息。 父主题: 图片处理
com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践
ps*1.5) 同时针对批量上传/下载任务,还可以通过调整defaultJobs(-j)最大并发任务数参数进行调优。 对于待上传/下载对象主要为小文件(通常在几M以内的文件),且文件个数较多的场景,由于文件本身较小,此时修改defaultParallels (-p)和defaul