检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
移动应用直传 移动应用直传方案概述 使用临时安全凭证直传OBS 使用预签名URL直传OBS 父主题: 数据直传OBS
y SDK。 注册华为账号并实名认证。 如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号
并安装Java SDK。 注册华为账号并实名认证。 如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
对象存储服务:即华为云对象存储服务,负责处理移动应用的数据请求。 统一身份认证服务:即华为云统一身份认证服务,负责生成临时安全凭证。 实现流程如下: 应用客户端向应用服务器申请一个临时操作凭证。 应用服务器向统一身份认证服务请求临时安全凭证。 统一身份认证服务向应用服务器返回临时安全凭证。 应用服务器将临时安全凭证发放给应用客户端。
CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时,CDN中缓存的过时数据也需要进行更新,可以使用CDN自动刷新功能来自动通知CDN去更新数据。因此,通过配置自动刷新策略,
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
请提交工单寻求技术支持。 404 Not Found SYS.0003 不支持的API 请更换API。 401 Unauthorized SYS.0004 请求未认证 请提交工单寻求技术支持。 403 Forbidden SYS.0005 没有访问权限 请提交工单寻求技术支持。 400
config = new ObsConfig(); config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
事件通知 使用EG发送OBS事件通知 使用DIS发送OBS事件通知 父主题: 数据管理
生命周期 生命周期概述 使用生命周期删除和转换对象存储类别的规则 配置生命周期规则 生命周期配置示例 生命周期元素说明 父主题: 数据管理
S 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件
设置图片效果 设置缩略 旋转图片 剪切图片 设置水印 格式转换与渐进显示 质量变换 设置图片瘦身 处理图片持久化 去除图片元信息 忽略错误 父主题: 数据处理
3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。 默认取值: 无 body object 参数解释: 操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。 默认取值: 无 表4
者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient.putObject接口,当数据源是非FileInputStream的其他InputStream时,由于数据流不能回读,当发生IO异常时,SDK不会进行重试,需要上层应用程序自行重试。 ObsClient.g
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:Hado
接用来加密数据,系统先是从用户主密钥中派生出数据加密密钥和数据加密密钥的密文,然后使用数据加密密钥来加密OBS对象,加密完成后,OBS存储数据加密密钥的密文和对象密文。 图2 SSE-KMS解密流程 解密对象时,如图2所示,KMS云服务先解密数据加密密钥密文,然后用数据加密密钥来