检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
在Linux ECS上使用obsutil通过内网访问OBS 当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。 资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力,无需事先规划存储容量,存储资源可线性无限扩展。
常见问题 如何对OBS进行访问权限控制? IAM权限和桶策略访问控制有什么区别? 在IAM配置OBS系统权限后仍然提示拒绝访问,请检查相应权限 给IAM用户配置了桶读写权限,登录控制台仍然提示拒绝访问,请检查相应权限 已配置OBS权限,仍然无法访问OBS(403 AccessDenied)
Browser+需通过公网下载,或者从其他可以访问公网的云服务器下载后传到当前云服务器安装。 前提条件 在登录ECS云服务器之前,请确保您已购买云服务器。 操作流程 图1 在Windows ECS上使用OBS Browser+通过内网访问OBS的流程 操作步骤 登录Windows ECS 登录华为云,在页面右上角单击“控制台”,进入“控制台”页面。
响应消息体的字节长度。 类型:String 默认值:无。 Connection 指明与服务器的连接是长连接还是短连接。 类型:String 有效值:keep-alive | close。 默认值:无。 Date OBS系统响应的时间。 类型:String 默认值:无。 ETag 对象的base
对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够
桶没有开启多版本控制功能时,对象删除后不可恢复,请谨慎操作。 并行文件系统 详见《并行文件系统特性指南》 访问规则 OBS基于DNS解析性能和可靠性的考虑,要求凡是携带桶名的请求,在构造URL的时候都必须将桶名放在domain前面,形成三级域名形式,又称为虚拟主机访问域名。 例如,如果您有一个位于cn-no
如何访问指定桶或指定目录 背景: 使用Browser+的过程中,在某些业务场景下,您登录的AK,SK仅有访问某个桶或者某个桶内指定路径的权限,在这种情况下如果直接使用AK、SK登录,由于缺乏获取桶列表等操作的权限,会导致登录时提示权限不足。 解决办法: 针对以上场景,Browse
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
我的数据存在OBS中,如何保证安全性? OBS是非常安全的,提供端到端的安全服务。 保证数据正确性:系统会定期对数据做扫描,仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),且不会读取数据的具体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。以下代码展示如何新建一个桶: static void test_create_bucket(obs_canned_acl canned_acl
如何永久分享文件或文件夹 通过OBS Browser+工具可以实现分享文件或分享文件夹,通过该方式生成的分享链接中都包含链接的有效时间,超过有效期后即无法通过该链接继续访问。 永久分享文件:可通过将对象权限设置为匿名用户读取权限,通过获取对象URL,匿名用户通过该URL地址访问对象数据。
如何处理碎片? OBS中的碎片会占用存储空间,会按照存储空间计费项进行计费。 您可以通过OBS管理控制台或OBS Browser+将桶中碎片清理掉。 如果是由于OBS Browser+分段上传任务中断产生的碎片,继续运行完成任务,碎片将会消失。 当存在运行中断或失败的分段上传任务
OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择桶所属区域,特性发布区域请参见功能总览。 如果希望ECS通过内网访问OBS桶,需要确保桶和ECS属于同一个区域,详情请参见在ECS上通过内网访问OBS。 桶名称 桶的名称。需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的
元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的ContentLanguage,用户可以通过接口进行修改。
failed(%s).\n", obs_get_status_name(ret_status)); } } 以下代码展示如何新建一个并行文件系统的桶: static void test_create_pfs_bucket(obs_canned_acl canned_acl
il还提供链式自动获取访问密钥功能,可以从系统环境变量获取访问密钥,或者通过ECS接口获取临时访问密钥。 启用链式获取访问密钥功能后,obsutil会依次从.obsutilconfig配置文件 -> 系统环境变量 -> ECS弹性云服务器中尝试获取可用的访问密钥。 配置方式 启用链式自动获取访问密钥功能。
容重定向到/root下的obsutil_crond.log中。 按Esc退出Insert模式,并输入:wq保存并退出。 执行命令:crontab -l,查看当前用户已配置的定时任务,确认配置成功。 常见问题 如何确定定时任务是否正在执行? 执行命令:tail /var/log/cron,查看最近的定时任务执行记录。
Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。