检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前准备(Java SDK) 在使用Java SDK访问对象存储服务OBS之前,您需要先完成服务环境的准备和开发环境的准备。服务环境准备包括准备账号和访问密钥,是使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
使用前准备(Python SDK) 在使用Python SDK访问华为云对象存储服务OBS之前,您需要先完成服务环境的准备和开发环境的准备。服务环境准备包括准备华为账号和访问密钥,是使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的
将签名S添加到请求消息中 将签名添加到请求消息中,消息携带签名的方式有3种: 添加到HTTP请求的Authorization Header头域 添加到URL的Query参数 POST上传(表单上传)情况下,添加到表单 4 发送携带签名S的API调用请求 将携带签名信息的请求发送给服务端。 OBS服务端
产品功能 表1列出了对象存储服务OBS提供的常用功能特性。 在使用对象存储服务OBS之前,建议您先了解对象存储服务OBS的基本概念,以便更好地理解对象存储服务OBS提供的各项功能。 表1 对象存储服务OBS功能概览 功能名称 功能描述 发布区域 OBS 2.0支持 OBS 3.0支持
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
请求超时 服务端与客户端Socket连接超时。 409 Conflict 请求冲突 在不同区域重复创建同名桶; 尝试删除非空桶。 500 Internal Server Error 服务端内部错误 服务端内部错误。 503 Service Unavaliable 服务不可用 服务端暂时不可访问。
SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。 调用OBS服务端上传段接口,逐个或并行上传段,每个段最大可支持5GB。
继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时充值使可用额度大于0。如果您的业务场景所需的资源量较为稳定,可选择购买资源包来抵扣相应的资源费用,以节
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当
5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密 当启用服务端加密功能后,用户上传对象时,数据会在服务端加密成密文后存储。用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。 服务端加密介绍和配置方法 跨区域复制 跨区域复制是指通过创建跨区域
ProxyHost 代理服务器的主机地址。 N/A ProxyPort 代理服务器的端口号。 N/A ProxyUserName 连接代理服务器时使用的用户名。 N/A ProxyPassword 连接代理服务器时使用的用户密码。 N/A ProxyDomain 代理服务器的域。 N/A
string HTTP文本描述。 Code string OBS服务端错误码。 Message string OBS服务端错误描述。 Resource string 发生错误时相关的桶或对象。 HostId string 请求的服务端ID。 父主题: 初始化(Go SDK)
操作或应用程序故障时帮助快速恢复数据。 跨区域复制:是OBS提供的跨区域数据容灾能力,支持将源桶数据复制到与其不同区域的目标桶。 服务端加密:通过服务端加密功能,对上传至OBS桶中的数据进行加密保护。 对象锁定(WORM):为桶开启WORM后,可实现桶中的对象在您指定的时间段内不能被删除或篡改。
单链接限速(Go SDK) 功能说明 客户端访问OBS对象时占用大量带宽,会影响其他应用的正常使用,可以通过使用单链接限速功能解决该问题。 目前仅支持GetObject方法。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义
使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 详细操作请参见金融大数据咨询业务数据迁移。 DES磁盘方式 DES磁盘方式同样采用离线的方式将用户
使用前须知(Python SDK) 本文介绍Python SDK的版本变更,并提供版本兼容性说明,以及其他使用前须知。 变更及兼容性说明 如表1所示,本节将为您展示Python SDK的版本变更情况,以及当前版本是否兼容某个历史版本的说明,更多版本修订信息请参见:ChangeLog。
后台运行 如果您有大量任务在OBS Browser+中运行,同时希望能够关闭OBS Browser+的UI界面,以方便进行其他操作,同时希望所有的任务能够后台运行。这时候,您可以单击关闭OBS Browser+工具,并选择后台运行;这时候您的所有任务将进入后台运行模式;您可以在系统托盘中双击OBS
SDK编译 获取到SDK源码后,根据使用平台来开展编译工作。 linux下: linux可以直接进入到source/eSDK_OBS_API/eSDK_OBS_API_C++/下执行下面的脚本来编译(x86和arm略有不同请注意): export SPDLOG_VERSION=spdlog-1