检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
ProxyPassword 连接代理服务器时使用的用户密码。 N/A ProxyDomain 代理服务器的域。 N/A ValidateCertificate 是否验证服务端证书。默认为false。 N/A BufferSize 上传对象到Socket流时的读/写缓存大小(单位:字节)。默认为8192字节。
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当
访问密钥(AK/SK) OBS支持通过访问密钥认证方式进行认证鉴权,即使用AK/SK加密的方法来验证某个请求发送者身份。 访问密钥(AK/SK,Access Key ID/Secret Access Key)包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,是您的长期身份凭证
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。
),key2:base64_encode(value2).... 说明:其中key1/key2等为自定义header,如果含有非ASCII码或不可识别字符,可以采用URL编码或者Base64编码,服务端只会作为字符串处理,不会做解码。value1/value2等为对应自定义hea
授权码下载对象 功能说明 使用授权码下载对象或按对象名前缀批量下载对象到本地。 下载对象或批量下载时,请确保OBS桶中的源对象不发生变化,否则可能产生下载失败或者数据不一致的问题。 命令结构 Windows操作系统 直接输入授权码下载单个对象 obsutil share-cp authorization_code
Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码,然后创建分享即可以生成分享链接及二维码。 最后,您可以将生成的分享链接信息或二维码发送给您需要分
ss”是头域名称,“STANDARD”是头域值。 约束限制: 头域名称不允许含有非ASCII码或不可识别字符,头域值也不建议使用非ASCII码或不可识别字符。如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。
每个用户最多可创建两个有效的访问密钥。 在弹出的“新增访问密钥”对话框中,输入描述内容(建议),单击“确定”。 (可选)在弹出的“身份验证”对话框中,选择合适的验证方式进行验证,单击“确定”。 在弹出的“创建成功”提示框中,单击“立即下载”后,密钥会直接保存到浏览器默认的下载文件夹中。 打开下载下来的“credentials
每个用户最多可创建两个有效的访问密钥。 在弹出的“新增访问密钥”对话框中,输入描述内容(建议),单击“确定”。 (可选)在弹出的“身份验证”对话框中,选择合适的验证方式进行验证,单击“确定”。 在弹出的“创建成功”提示框中,单击“立即下载”后,密钥会直接保存到浏览器默认的下载文件夹中。 打开下载下来的“credentials
HTTP状态码(Python SDK) OBS服务端遵照HTTP规范,在接口调用完成均会返回标准的HTTP状态码,HTTP状态码分类以及OBS中常见的HTTP状态码如下: HTTP状态码分类: 分类 分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。
如何获取访问密钥(Python SDK) OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,
站、工具下载、游戏客户端、APP商店等。 通过OBS提供音视频点播业务的应用或服务。例如:在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。 约束与限制 只有桶版本号为3.0及以上的桶支持此方案。桶版本号可以在OBS控制台上,进入桶对象页面后单击“概览”,在“基本信息”中查看。
OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 构造请求 数据冗余存储 OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 OBS创建桶时支持选择数据冗余存储策略,
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、西南-贵阳一 自2022年3月25日起生效:中国-香港、亚太-曼谷、亚太-新加坡、非洲-约翰内斯堡、拉美-墨西哥城一、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥 解决思路 OBS默认域名强制下载后,推荐用户使用自有域名实现在线预览。
字段名 类型 说明 StatusCode int 参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 RequestId string 参数解释: OBS服务端返回的请求ID。
× √ 多AZ 您可以在创桶的时候选择将桶中数据冗余存储在多个可用区,以获得更高的数据可靠性。OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 支持的区域请参见功能总览。 × √ 数据回源 您可以利用数据回源功能,实现向OBS请求数据不存在时,通过回源规则自动从源站获取对应数据。
SDK编译 获取到SDK源码后,根据使用平台来开展编译工作。 linux下: linux可以直接进入到source/eSDK_OBS_API/eSDK_OBS_API_C++/下执行下面的脚本来编译(x86和arm略有不同请注意): export SPDLOG_VERSION=spdlog-1