正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsrea
图片处理如何收费? 详细的服务资费费率标准请参见产品价格详情(单击链接跳转后选择价格详情页签)。 计费因子 原始图片大小 以GB为单位,根据使用月份数按固定单价收费。 图片处理根据原始图片的大小来进行计费,使用图片处理对多张图片进行处理时,数据大小自动累计。例如:将一张0.01GB的图片使用图片处理剪切和压缩后仅为0
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
port 请求使用的端口号。根据软件服务器的部署不同而不同。缺省时使用默认端口,各种传输协议都有默认的端口号,如HTTP的默认端口为80,HTTPS的默认端口为443。 OBS对象存储服务的HTTP方式访问端口为80,HTTPS方式访问端口为443。 可选 object 请求使用的对象资源路径。
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
如何获得对象存储服务? 在云服务网站申请账号,充值后,即可使用对象存储服务。 如果是IAM子账号,需主账号通过IAM授权其OBS资源使用权限,IAM子账号才能访问OBS。 在OBS上创建桶和上传对象,以及对桶和对象的相关操作请参见桶管理和对象管理。 父主题: 产品咨询
基于上述优势,华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与
AccessKeyID/bucketname ; 密码为: AccessSecretyKeyID。 登录成功后,您便可以使用常用的FTP命令来管理存储在OBS上的文件。 父主题: 安装和使用obsftp
使用账号登录时,界面提示“获取用户的Token失败” 在使用OBS Browser+过程中,如果使用账号登录时提示“获取用户的Token失败”,原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows
般需要2~3个月时间。 专属资源部署和分配完成后,表示订单完成。 您可以登录华为云控制台,使用专属对象存储。也可以在专属对象存储页面查看“专属对象存储池”的存储类别、到期时间和存储空间使用率。 专属对象存储的购买时长,从订单完成时开始计算。 父主题: 计费相关
使用OBS Browser上传下载文件卡死 问题 使用OBS Browser上传下载大文件,上传下载一段时间后提示“max call stack size exceeded”。 使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示99
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶
如何对OBS进行访问权限控制? 您可以使用以下几种机制来控制对OBS的访问权限。更多详细信息,请参见OBS权限控制概述。 IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。 推荐使用IAM权限的场景:对同一账号内的子用户授权。
00个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。 Obs.0007 目标桶不存在或目标桶与当前桶不属于同一区域,请确认后重新操作。 Obs.0008 你的账号还没有在系统中注册,必须先在系统中注册了才能使用该账号。 Obs.0009 另外一个冲突的操作当前正作用在这个资源上,请重试。
URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名 使用工具计算URL中携带的签名 单击进入可视化签名计算工具。 填写用户访问密钥ID(AK)和秘密访问密钥(SK)。如何获取请参见管理访问密钥 参照下表填写生成签名需要的参数:
以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
我在什么场景下需要使用生命周期管理? 生命周期管理可适用于以下典型场景: 周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问,但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储,归档存储或者删除。 为
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
资源包到期后OBS资源会如何处理? 资源包到期后您可以进行续费以延长资源包的有效期,具体可参考资源包续订,未续期则到期后自动转为按需计费;按需计费没有到期的概念,只要保证账号余额充足,则可一直使用对象存储服务。 如果账号欠费,会根据“客户等级”定义不同的保留期时长。进入保留期后您
如何通过URL访问图片处理服务? 访问非公共可读的图片 针对非公共可读的图片,需要在计算签名时加上图片处理参数,最终通过生成带签名的临时URL来访问。 如下为一个简单的Java SDK示例代码供参考,详细的SDK使用可参考SDK使用文档。 1 2 3 4 5 6 7