检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
obsutil是适用于Windows、macOS和Linux操作系统的命令行工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Linux ECS通过内网直接访问OBS,下面将介绍其具体操作流程和操作步骤。 obsutil需通过公网下载,或者从其他可以访问公网的云服务器下载后传到当前云服务器安装。 前提条件
x_arm64.tar.gz wget后的URL参数是安装包的下载网址,您无需适配,只需要复制并运行上方提供的命令,直接下载即可。 您也可以在一台Windows计算机上下载到软件包后,通过常见的跨平台传输工具(比如WinSCP)传输至您的Linux运行机。 在软件包所在目录,执行以下解压命令。
WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力,无需事先规划存储容量,存储资源可线性无限扩展。 插件支持的功能如下: 支持自定义附件在桶的存储位置。
解释: node.environment:环境名字,Presto集群中的节点的环境名字都必须是一样的。 node.id:唯一标识,每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir:数据目录,Presto用它来保存log和其他数据
软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 下载OBSA-HDFS工具的jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)到/mnt/obsjar目录。
使用Position参数指定追加上传的位置,且第一次追加上传的位置必须为0。 ObsClient.putObject上传的对象可覆盖ObsClient.appendObject上传的对象,覆盖后对象变为普通对象,不可再进行追加上传。 第一次调用追加上传时,如果已存在同名的普通对象,则会抛出异常(HTTP状态码为409)。
cacheControl String 可选 参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。
创建桶时,默认是不生成桶的日志的,如果需要生成桶的日志,该桶需要打开日志配置管理的开关。桶日志功能开启后,桶的每次操作将会产生一条日志,并将多条日志打包成一个日志文件。日志文件存放位置需要在开启桶日志功能时指定,可以存放到开启日志功能的桶中,也可以存放到其他您有权限的桶中,但需要和开启日志功能的桶在同一个region中。
使用账号登录时,界面提示“获取用户的Token失败” 在使用OBS Browser+过程中,如果使用账号登录时提示“获取用户的Token失败”,原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows
528197ae0e OBS Browser+最新版本将不支持Windows 7, Windows 8 和 Windows 8.1等旧版本的Windows,旧版Windows请使用OBSBrowserPlus_3.22.11-win64版本或OBSBrowserPlus_3.22
事件网格(EventGrid,简称EG)是华为云提供的一款Serverless事件总线服务,支持华为云服务云服务、自定义应用、SaaS应用以标准化、中心化的方式接入事件网格,通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。 OBS作为云服务
该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应通过消息元素返回删除的结果,元素的具体意义如表2中所示。 表2 响应消息元素 字段名称 描述 DeleteResult 批删响应的根节点。 类型:Container Deleted 删除成功结果的Container。
读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。
可以根据自身的业务需求使用OBS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据安全 安全最佳实践 本最佳实践提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估OBS资源的安全状态,更好的组合使用OBS提
自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。 自定义元数据的key值不区
读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。
http://rds.example.com https://*.vbs.example.com * 允许的方法 必选参数,指定允许的跨域请求方法,即桶和对象的几种操作类型。包括:Get、Post、Put、Delete、Head。 全选 允许的头域 可选参数,指定允许的跨域请求的头域。只
</ListBucketCustomDomainsResult> 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该响应以消息元素的形式返回桶的自定义域名,元素的具体意义如表1响应消息元素所示。 表1 响应消息元素 元素名称 描述 ListBucke