检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
jackson-core的配套组件 jackson-annotations 2.13.3 jackson-core的配套组件 其他版本的依赖三方库可参考 Maven 中心仓库中 SDK 的 Compile Dependencies 说明。 依赖冲突 当您项目中存在多个版本的 OBS Java SDK 软
Java SDK 4 自行编译 Jar 包 方式一:使用Maven中央仓库和Maven工程下载安装OBS Java SDK 使用本方式安装SDK前,请确保Java环境和Maven环境正确配置并能正常使用。 访问Maven中央仓库获取OBS Java SDK版本号。获取Bundle版
gradle),并在该文件中加入如下配置信息: repositories{ maven { url 'https://mirrors.huaweicloud.com/repository/maven/' } mavenCentral() } 在新建工程的app文件夹build
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
如果是当前桶名已存在,则更换桶名再创建。在OBS中,桶名必须是全局唯一的,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 当创建桶提示“另外一个冲突的
创建桶(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS桶是对象的容器,您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Node.js SDK创建桶。 调用创建桶接口,将在当前
{hadoop.version}-hw-${version}.jar Apache commons-lang-xxx.jar 可从maven中央仓库下载或从hadoop目录中拷贝。 配置presto 在安装目录里创建etc目录。这目录会有以下配置(自己创建): 节点配置文件:每个节点的环境配置
例如:某些企业出于安全考虑,对于可访问的外部地址需要设置黑白名单,而这个时候对于OBS的访问则需要一个固定的IP地址。同样出于安全考虑,华为云OBS桶访问域名通过DNS解析的IP地址是会发生变化的,所以用户无法获取某个桶长期有效的固定IP地址。 此时,可以通过在ECS上搭建Ng
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix
为什么用户在华为云购买的域名才支持一键解析? 当用户在华为云购买自定义域名,可以在目标桶内进行域名绑定,完成一键解析添加CNAME记录。 当用户在其他域名服务商购买域名时,由于华为云无法感知该域名是否可以解析到目标桶域名,因此需要用户自行配置解析规则,具体配置方法请参见配置CNAME。
文件上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传: // 认证用的ak和sk硬编码到代码中或者明文存
33%,单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS
下载对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 以下代码展示如何获取对象的内容: ObsObject obsObject = obsClient.getObject("bucketname"
设置桶的生命周期配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用,更多生命周期相关信息请参见生命周期管理。
查询华为云算子模板详情 功能介绍 本接口用于按名称查询Action模板。 请求消息样式 GET /v2/actiontemplates/{template_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization:
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java
get目录下生成datax.tar.gz压缩文件。 mvn -U clean package assembly:assembly -Dmaven.test.skip=true 安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoo
搬迁本地数据至OBS_DES Teleport方式 云专线(Direct Connect,DC) 搬迁本地数据至OBS_云专线方式 在ECS上实现通过华为云内网访问OBS 弹性云服务器(Elastic Cloud Server,ECS) 在ECS上通过内网访问OBS 通过IAM服务实现以下功能: