op系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsreader和hdfswriter模块依赖的hadoop版本,以升级到2.8.3版本为例。 修改datax\hdfswriter\pom
呈现在ECS中的各类程序或应用上。 建议搭配服务 MapReduce服务 MRS,弹性云服务器 ECS,数据快递服务 DES 图1 大数据分析 静态网站托管 场景描述 OBS提供低成本、高可用、可根据流量需求自动扩展的网站托管解决方案,结合内容分发网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。
SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 从Node.js官网下载并安装推荐使用的版本。 从Eclipse官网下载并安装Eclipse IDE for JavaScript and Web Developer最新版本。
选填,启用后,可以通过设置样式内容获取更加灵活多样的图片处理结果。具体操作请参见创建图片样式。 请谨慎开启“更多选项 > 清理服务器存储”功能。 开启“清理服务器存储”后,上传至媒体库的图片和其他附件在上传到OBS后会在本地删除,因此在停用插件后,无法利用本地数据做恢复和替换。 单击“保存配置”,完成配置。
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
),更多参数说明请参见表6。 图6 其他服务提供商账号登录 表6 参数说明 参数 是否必选 说明 身份认证服务(IAM)地址 是 服务提供商的身份认证服务地址,支持填写身份认证服务的全局域名(不指定区域)或区域域名(指定某个区域)。 使用全局域名的格式:iam.myhuaweicloud
s Server2016以及Mac平台。各操作系统的规格要求如表1所示。您可以单击这里获取用于不同操作系统的OBS Browser+的下载地址和安装方法。 使用前请绑定支付方式,避免因费用问题导致受限。 表1 OBS Browser+对PC机的规格要求 规格项 规格要求 备注 操作系统
快速入门 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 配置桶允许跨域请求 初始化OBS客户端 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例 预定义常量
文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。
OBS接收到客户端的上传请求,执行上传对象操作。对象上传成功后,OBS封装回调请求。 OBS调用回调接口,向回调服务器发起回调请求。 回调服务器得到上传对象完成的通知,完成数据更新,处理回调请求。 回调服务器将回调响应数据返回给OBS。 OBS将上传对象请求的响应结果返回给客户端,响应结果中携带回调数据。
FAQ 如何在不支持window.File的浏览器上传文件? 如何使对象可以被匿名用户访问? 如何获取桶的静态网站访问地址? 如何获取对象URL? 公网环境下如何提高上传大文件速度? 如何暂停断点续传上传任务? 如何在不暴露AKSK的条件下实现与OBS交互? 如何上传base64编码的图片
如果上传的对象权限设置为匿名用户读取权限,对象上传成功后,匿名用户可通过链接地址访问该对象数据。对象链接地址格式为:https://桶名.域名/文件夹目录层级/对象名。如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 父主题: 上传对象
access_key_id 访问密钥中的AK。 N/A secret_access_key 访问密钥中的SK。 N/A server 连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A
如何在不支持window.File的浏览器上传文件? 在不支持window.File的浏览器上(例如低版本的IE浏览器),不能使用ObsClient.putObject或ObsClient.uploadFile上传对象,如果要支持这类浏览器上传,请参考基于表单上传。 父主题: FAQ
述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 为了解决以上问题,OBS默认域名强制下载后,推荐用户使用自有域名实现在线预览。 方案一:使用OBS自定义域名访问(不开启CDN加速) 方案二:使用OBS自定义域名+CDN方式访问 方案三:CDN私有桶回源方式访问
例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 说明: 对象链接地址格式为:https://桶名
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。
nified Resource Locator)来获取资源。URL的一般格式为:https://Endpoint/uri。用户只需在浏览器地址栏中输入符合图片处理命令规则的URL,即可获取到处理后的图片。 本章简要展示使用RESTful API接口方式访问和使用图片处理的流程,具体如图1所示。
Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。 Obs
您即将访问非华为云网站,请注意账号财产安全