检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成开发环境的搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。
是使用SDK与OBS云服务交互的必要条件。开发环境准备是让您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。
使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
get目录下生成datax.tar.gz压缩文件。 mvn -U clean package assembly:assembly -Dmaven.test.skip=true 安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoo
生变化的,所以用户无法获取某个桶长期有效的固定IP地址。 此时,可以通过在ECS上搭建Nginx反向代理服务器,来实现通过固定IP地址访问OBS。 方案架构 本实践将Nginx部署在ECS上,搭建Nginx反向代理服务器。用户对代理无感知,只需要将请求发送到反向代理服务器,然后由
{hadoop.version}-hw-${version}.jar Apache commons-lang-xxx.jar 可从maven中央仓库下载或从hadoop目录中拷贝。 配置presto 在安装目录里创建etc目录。这目录会有以下配置(自己创建): 节点配置文件:每个节点的环境配置
快速入门 OBS服务环境搭建 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例
当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上传过程中,本地目录中的文件有新增则无法保
支持在WordPress后台编辑图片。 支持OBS图片处理采用样式请求功能。 支持WordPress4.4+在不同分辨率设备上加载不同大小图片。 前提条件 已搭建好WordPress,下载及搭建请参考WordPress官网。 已创建OBS桶,并确保账号具有OBS桶的上传权限,准备好账号对应的AK/SK。 已安装PHP
Migration,CDM) 搬迁本地数据至OBS_CDM方式 数据快递服务(Data Express Service,DES) 搬迁本地数据至OBS_DES磁盘方式 搬迁本地数据至OBS_DES Teleport方式 云专线(Direct Connect,DC) 搬迁本地数据至OBS_云专线方式
增量同步上传对象 功能说明 将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。此处的增量同步有两层含义: 增量,依次比较源文件和目标对象,只上传存在变化的源文件。 同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案 搬迁方式
配置密钥 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端 配置OBS客户端 父主题: 初始化
归档日志文件 功能说明 将日志文件归档到本地,或归档到指定的桶。 命令结构 Windows操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
OBS服务。详细操作请参见修改子网网络信息。 方式二:修改本地DNS配置 采用此方式配置的内网DNS会在ECS每次重启后失效,在重启后需要重新配置内网DNS才可以通过内网访问OBS。此处以通过命令行配置为例,介绍如何在本地修改DNS配置。 打开cmd命令行。 运行以下命令,配置首选DNS服务器地址。
obs://bucket-test/src1/src2/test1.txt obs://bucket-test/src1/src3/ 基于以上本地文件夹和桶内对象的格式,不同场景下同步上传的示例如下: 同步本地src1文件夹下的test3.txt文件至bucket-test桶的根目录,同步命令如下: ./obsutil
对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,
obs://bucket-test/src1/src3/ 假设本地文件夹的格式如下: └── src1 └── test3.txt 基于以上桶内对象和本地文件夹的格式,不同场景下同步下载的示例如下: 同步bucket-test的src1文件夹中的所有文件和文件夹至本地已存在的src1文件夹中,同步命令如下:
将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径下的所有对象均能在本地目标路径下找到对应文件。