检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服
、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsrea
单击“网络配置”,根据需求设置代理服务器信息,如图2所示。 图2 网络配置 表2 网络配置参数说明 参数 说明 启用代理 勾选后,会展示“使用身份验证”的可选项。设置以下参数就可以通过代理服务器访问OBS。 地址:代理服务器地址。 端口:代理服务器端口(默认为“8080”)。 单击
0003 连接超时。 Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。
为桶配置服务端加密后,OBS会对历史对象进行加密吗? 不会。 OBS只对服务器端加密配置生效后上传的对象进行加密,不会加密历史对象。如果您需要加密历史对象,需删除历史对象后重新上传。 父主题: 服务端加密
错误码列表 错误码 描述 Obs.0000 网关或代理服务器验证失败,请输入正确的验证信息。 Obs.0001 服务端内部出错,请联系客服处理。 Obs.0002 网关或代理服务器出现错误,请联系客服处理。 Obs.0003 服务器繁忙,请稍后重试。 Obs.0004 请求的桶名已经
桶所有者的账号ID,即domain_id。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID?。 默认取值: 无 displayName String 可选 参数解释: 所有者的账号名。 取值范围: 如何获取账号名请参见如何获取账号名?。 默认取值: 无 表5 GrantAndPermission
例代码 ECS场景从云服务委托获取 创建OBS客户端实例,并使用EcsObsCredentialsProvider从ECS服务器自动获取临时访问密钥,并且访问凭证会定期自动刷新。 须知: 使用EcsObsCredentialsProvider的前提,应用程序须运行在ECS服务器上
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
用户可以在上传对象请求中设置回调参数,OBS在对象上传成功之后,将上传结果回调特定服务器,并将回调结果返回给用户。 目前只在POST上传对象、PUT上传对象以及多段操作中的合并段API中支持回调功能。 在对象上传成功之后才会回调特定服务器,如果对象上传失败则不会回调。 回调成功,返回回调结果给客户端
下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗? 如何修改桶所属的企业项目? 我可以在桶间进行文件复制吗? 我可以在桶间进行文件移动吗?
另外还有以下属性: jmx.rmiregistry.port:指定JMX RMI的注册。JMX client可以连接此端口 jmx.rmiserver.port:指定JMX RMI的服务器。可通过JMX监听。 Catalog配置文件(重点) hive connector配置如下: 在etc目录下创建catalog目录
资源提供VPC粒度的权限控制。 一方面,设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;另一方面,设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问,从而在请求来源和被访问资源两个角度保障了安全性。 双端固定支持的区域请参见功能总览。
导致数据上传失败而产生碎片:网络条件较差,与OBS的服务器之间的连接经常断开;上传过程中,人为中断上传任务;设备故障;突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中,需手动清理,以节省存储空间。 发布区域:全部 如何处理碎片? OBS 3.0支持 企业项目 企业项目是
对象存储服务论坛中发帖求助。接口参考文档的“上传对象”章节详细介绍了参数和使用方法。 文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的a
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
查询桶触发器(Python SDK) 功能说明 查询桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getTriggerPolicy() 返回结果 表1 返回结果 类型
计费模式 计费模式概述 按需计费 包年包月(资源包)
慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离