检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API接口的使用方法。用户可以在任何时间和地点对存储在并行文件系统内的文件进行处理,并且可以快速获取到处理后的文件。并行文件系统除支持POSIX文件语义外,也支持原来对象的接口,即用户仍然可以使用对象的处理方式来处理文件,实现了对象和文件的互通。 用户可以通过以下几种方式使用并行文件系统。
连接超时异常(Node.js SDK) 异常说明:调用接口时出现“connect ETIMEDOUT”错误,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务。 解决方案: 请检查服务地址是否为空,或者是非法的服务器地址。 请检查网络状况。
同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问? 一般情况下,只有执行挂载命令的用户有访问挂载目录的权限。
如果设置的server不带协议类型,则默认使用HTTPS协议。 如果启用了长连接模式,使用完OBS客户端后必须调用ObsClient.close方法显式关闭,回收连接资源。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将server设置为IP,必须使用域名访问OBS服务。 配置SDK代理请参见配置SDK代理(Node
-北京四和华东-上海一各有一台ECS云服务器,两台云服务器都往华北-北京四的OBS桶存取数据。 用户操作 具体操作如下: 1、2023年7月1日00:00 UTC,华东-上海一的云服务器往华北-北京四的桶中上传了1000个总大小为1GB的标准存储对象(单AZ),以及1000个总大小为1GB的低频存储对象(单AZ)。
象、列举对象、删除对象。 代码示例一:创建桶 本示例用于使用临时URL授权创建桶。 // 引入obs库 // 使用npm安装 var ObsClient = require('esdk-obs-nodejs'); // 使用源码安装 // var ObsClient = require('
连接超时异常 如果通过ObsException.getResponseCode获取到的错误码为408,表明连接OBS服务超时,出现这类异常的原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务,此时请检查服务地址和网络状况。 父主题: 异常处理
并行文件系统是否支持挂载到Windows服务器? 并行文件系统当前仅支持通过obsfs工具挂载至Linux服务器,暂不支持挂载至Windows服务器。 并行文件系统挂载至Linux服务器,具体请参见挂载并行文件系统。 父主题: OBS Browser+和obsutil等工具相关
连接超时异常 如果从ObsException->getExceptionMessage中获取到的错误描述为“Exceeded retry limitation, xxx Failed to connect to xxx”,表明连接超时,其原因一般是服务地址(Endpoint)错误
1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求,一般对客户调用函数不可见。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误。
用于是否将此记录集关联至云服务资源实例。 否 线路类型 用于DNS服务器在解析域名时,根据访问者的来源,返回对应的服务器IP地址。 添加解析线路类型时,切记先添加默认线路类型,以保证网站可访问。 全网默认 TTL(秒) TTL指解析记录在本地DNS服务器的有效缓存时间。如果您的服务地址经常更换,建议
进入购买资源包页面。 根据界面提示进行信息配置。 资源包所属区域和类型需要和桶属性相匹配,才能正常使用资源包抵扣桶的相关费用。 “定向使用”可限定企业项目使用所购资源包,即仅在所选企业项目下的桶才能使用此资源包进行抵扣,同时也需满足资源包所属区域和类型与桶属性匹配的要求。该选项仅对企业账号展示。
呈现在ECS中的各类程序或应用上。 建议搭配服务 MapReduce服务 MRS,弹性云服务器 ECS,数据快递服务 DES 图1 大数据分析 静态网站托管 场景描述 OBS提供低成本、高可用、可根据流量需求自动扩展的网站托管解决方案,结合内容分发网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 跨域是指不同域名之间相互访问。跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。 由于JavaScript同源策略的限制,
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。 对接步骤 配置Druid。 修改配置:
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
Browser+创建桶,用于存放原始数据。 购买CDM 购买CDM服务,即创建CDM集群,用于管理连接与作业。 配置连接与作业 在创建CDM集群中创建一个源连接和一个目的连接,分别与用户本地数据源和云端OBS连接。然后再创建CDM作业,执行从本地数据搬迁到云端OBS的任务。 启动数据传输 运行C