检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。 - 时间目录格式 数据将存储在OBS桶中转储文件目录下,按时间格式作为层级的目录中。
dir</name> <value>obs://obs-bucket/warehouse/hive</value> </property> 可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。
Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS,因此在登录OBS Browser+时,“服务提供商”和“服务器地址”需要按照以下要求填写: 服务提供商:选择“其他对象存储服务”。 服务器地址:根据ECS
在VPC终端节点中创建DNS终端节点和OBS终端节点,在本地数据中心配置DNS转发规则、DNS路由以及OBS路由。具体操作参见配置通过内网访问OBS服务的终端节点。 “拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持服务类别选择“云服务”购买连接OBS的终端节点,详情参见购买连接OBS的终端节点。拉美-墨西哥城一选择com
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含
消息头、请求消息体(可选),如何构造API请求详见构造请求。 2 计算签名S 根据构造的HTTP请求和用户访问密钥计算签名S。您可以根据签名携带方式选择一种签名计算方式: Header携带时如何计算签名? URL携带时如何计算签名? 表单携带时的如何计算签名? 3 将签名S添加到请求消息中
在ECS上通过内网访问OBS方案概述 应用场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。
如何判断是否内网访问OBS? 假设某用户拥有一台华北-北京四区域的ECS,同时拥有一个华北-北京四区域的OBS桶(桶名为example-bucket)。 判断是否内网访问的方法如下: 在ECS中ping需要确认的OBS桶的全局域名,如果响应的IP地址为100网段或214网段,则说明ECS访问此OBS桶为内网访问。
了备份本地数据至OBS的基本流程。 在ECS上通过内网访问OBS ECS支持通过公网和华为云内网两种方式访问OBS,为优化性能、节省开支,建议通过华为云内网访问OBS。本章节详细描述了在ECS上如何通过华为云内网访问OBS服务。 通过CDN加速访问OBS OBS支持通过CDN加速
OBS资源 资源是服务中存在的对象。在OBS中,资源包括桶和对象。您可以在创建自定义策略时,通过指定资源路径来选择特定资源。 表1 OBS的指定资源与对应路径 资源类型 资源名称 资源路径 bucket 桶 【格式】 obs:*:*:bucket:桶名称 【说明】 对于桶资源,I
获取OBS中对象URL OBS服务简介 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 创建OBS桶 登录对象存储服务控制台。 左侧导航栏选择“桶列表”,在右上角选择“创建桶”。按下图配置完成OBS桶的创建。
obsutil简介 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,
如何处理碎片? OBS中的碎片会占用存储空间,会按照存储空间计费项进行计费。 您可以通过OBS管理控制台或OBS Browser+将桶中碎片清理掉。 如果是由于OBS Browser+分段上传任务中断产生的碎片,继续运行完成任务,碎片将会消失。 当存在运行中断或失败的分段上传任务
后台运行 后台运行适用场景 如果您有大量任务在OBS Browser+中运行,同时希望能够关闭OBS Browser+的UI界面,以方便进行其他操作,同时希望所有的任务能够后台运行。 如何进入和结束后台运行 您可以单击关闭OBS Browser+工具,并选择后台运行,这时候您的所有任务将进入后台运行模式。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
如何访问指定桶或指定目录 背景: 使用Browser+的过程中,在某些业务场景下,您登录的AK,SK仅有访问某个桶或者某个桶内指定路径的权限,在这种情况下如果直接使用AK、SK登录,由于缺乏获取桶列表等操作的权限,会导致登录时提示权限不足。 解决办法: 针对以上场景,Browse
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
通过OBS SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java、Python、Go三种SDK为例,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
访问OBS 操作场景 虚拟专用网络、云专线线下节点通过终端节点高速访问OBS。 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持通过控制台直接选择“网关”类型的OBS终端节点服务,因此本场景仅适用于这些区域。 其他区域的“网关”类型的OBS终端节点服务目前需
配置OBS访问权限 OBS服务 OBS全称Object Stroage Service(对象存储服务),提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 宫颈癌细胞病理筛查API支持直接使用华为云OBS服务进行数据的存储,以减少服务使用成本,降低服务的响应时长,提升服务使用的体验。