检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
参考文档详细介绍了每个接口的参数和使用方法。 上传对象加密 以下代码展示了在上传对象时使用服务端加密功能: 设置SSE-C方式下使用的密钥,请参考如何生成SSE-C方式的加密密钥。 更多关于服务端加密的内容请参考服务端加密SSE-C方式。 // 认证用的ak和sk硬编码到代码中或
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
对其他账号下的IAM用户授予桶和桶内资源的访问权限 场景介绍 本案例介绍如何为其他华为云账号下的IAM用户授予OBS桶和桶内资源的访问权限。 此处以授予上传和下载桶内对象的权限为例。如果需要配置其他指定的权限,在桶策略和给IAM用户授权中配置对应的权限即可。 推荐配置方法 对其他
BS在不同区域的区域域名,用于处理各自区域的访问请求。各区域的终端节点详情请参见地区和终端节点。 访问域名:OBS会为每一个桶分配默认的访问域名。访问域名是桶在互联网中的域名地址,可应用于直接通过域名访问桶的场景,比如:云应用开发、数据分享等。 OBS桶访问域名的结构为:BucketName
单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 父主题: 对当前账号下多个IAM用户或用户群组授权
公网流出流量包和回源流量包抵扣的是公网下载OBS数据和回源的流量费用。 跨区域复制流量包抵扣的是通过跨区域复制功能将源桶数据复制到另一个区域的目标桶时所产生的流出流量费用。 除了标准存储包会赠送一定的请求次数以外,其他计费项都不支持资源包扣费,包括低频访问存储对象的存储费用、数据恢复费用、数据处理费用。
设置桶日志管理配置 功能介绍 创建桶时,默认是不生成桶的日志的,如果需要生成桶的日志,该桶需要打开日志配置管理的开关。桶日志功能开启后,桶的每次操作将会产生一条日志,并将多条日志打包成一个日志文件。日志文件存放位置需要在开启桶日志功能时指定,可以存放到开启日志功能的桶中,也可以存放到
已删除的数据是否可以恢复? 已删除的数据能否恢复取决于您是否开启了多版本控制功能: 桶开启了多版本控制功能时,删除的对象会保存到“已删除对象”列表中,您可以在“已删除对象”列表中恢复对象,详情请参见取消删除文件。 桶没有开启多版本控制功能时,删除对象时系统会完全删除数据,已删除的对象不可恢复。
BS Browser+的UI界面,以方便进行其他操作,同时希望所有的任务能够后台运行。 如何进入和结束后台运行 您可以单击关闭OBS Browser+工具,并选择后台运行,这时候您的所有任务将进入后台运行模式。 当您在系统托盘中双击OBS Browser+的图标,显示UI界面,即结束后台运行模式。
)。如果没有携带此头域 ,则创建的桶为标准存储类型。 当往桶内上传对象时,如果没有指定对象的存储类别(参考PUT上传),则该对象的存储类型取桶的默认存储类型。 OBS标准存储拥有低访问时延和较高的吞吐量,因而适用于有大量热点文件需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。
可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。 在 "控制面板" 中,查看方式选择“类别”,依次单击"网络和Internet"、“网络和共享中心”和“更改适配器设置”。 右键单击要配置的连接,然后单击"属性 "。 单击 "Internet 协议版本
我可以恢复已删除的对象吗? 启用多版本控制功能后,不带版本号删除对象时,对象产生一个带唯一版本号的删除标记,在已删除对象列表中,您可以从此处恢复您需要的对象。 如果未启用版本控制功能,或启用该功能后指定版本号删除了对象,OBS将彻底删除这些数据,将无法找回。 详情请参见多版本控制简介。
删除桶的加密配置 功能介绍 OBS使用DELETE操作来删除指定桶的加密配置。 要正确执行此操作,需要确保执行者有PutEncryptionConfiguration权限。缺省情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 有关权限控制的更多信
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
删除桶的跨区域复制配置 功能介绍 删除桶的复制配置。执行该配置操作前需要确保执行者拥有DeleteReplicationConfiguration权限。 请求消息样式 1 2 3 4 DELETE /?replication HTTP/1.1 Host: bucketname.obs
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
获取桶的多版本状态 功能介绍 桶的所有者可以获取指定桶的多版本状态。 如果从未设置桶的多版本状态,则此操作不会返回桶的多版本状态。 请求消息样式 1 2 3 4 GET /?versioning HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud