检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
型计算存储费用。 通过CDN加速访问OBS 通过华为云CDN加速访问在OBS中的数据,费用将由OBS和CDN共同产生和收取。 整个过程产生的费用示意图如图2所示。 图2 通过CDN加速访问OBS费用示意 各计费项的的详细说明,如表6所示。 表6 通过CDN加速访问OBS计费项说明
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
9.0-bin/conf/log4j.properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site
Windows系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。
安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud:下载地址。(建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本,例如hadoop-huaweicloud-2.8.3-hw-53
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用OBS的基础功能
AccessKeyID/bucketname ; 密码为: AccessSecretyKeyID。 登录成功后,您便可以使用常用的FTP命令来管理存储在OBS上的文件。 父主题: 安装和使用obsftp
需要频繁访问图片数据的购物网站等,可以使用图片处理对图片在线进行简单操作后,使用CDN加速,后续请求可以直接从CDN下载,提高访问效率。 架构 用户通过管理控制台、OBS客户端、RESTful API接口或者第三方客户端的方式将图片上传至OBS中进行存储。用户下载使用图片前,可以创建图片样式模
和终端节点信息请参见地区和终端节点。 使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。
数据加密服务(Data Encryption Workshop,DEW) 服务端加密 通过CDN服务为OBS桶绑定的自定义域名加速。 CDN(Content Delivery Network,内容分发网络) 自定义域名绑定 通过CDN加速访问OBS 通过DNS服务为托管在OBS上的静态网站和OBS桶绑定的自定义域名做域名解析。
使用账号登录时,界面提示“获取用户的Token失败” 在使用OBS Browser+过程中,如果使用账号登录时提示“获取用户的Token失败”,原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows
以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
图片处理 如何通过URL访问图片处理服务? 设置CDN加速后,处理过的图片存储在哪里? 设置桶日志后,进行图片处理,发现有100网段的ip访问桶 图片处理如何收费? 每个桶支持创建多少个图片样式?
使用OBS Browser上传下载文件卡死 问题 使用OBS Browser上传下载大文件,上传下载一段时间后提示“max call stack size exceeded”。 使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示99
我在什么场景下需要使用生命周期管理? 生命周期管理可适用于以下典型场景: 周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问,但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储,归档存储或者删除。 为
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
00个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。 Obs.0007 目标桶不存在或目标桶与当前桶不属于同一区域,请确认后重新操作。 Obs.0008 你的账号还没有在系统中注册,必须先在系统中注册了才能使用该账号。 Obs.0009 另外一个冲突的操作当前正作用在这个资源上,请重试。
域名管理 为什么通过自定义域名访问桶,提示NoSuchBucket,而通过OBS访问域名可以访问? CDN加速场景下访问OBS桶内对象变成强制下载 OBS桶名和域名之间有什么联系? 为什么会存在CNAME解析状态为未知的情况? 为什么用户在华为云购买的域名才支持一键解析?
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离