检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nt、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
Web端通过PostObject接口直传OBS 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OB
对象时,则创建新对象。 通过追加上传,可在视频数据产生之后及时将数据上传至同一个Object,而客户端只需要定时获取该Object的长度,并与上次读取的长度进行对比。如果发现有新的可读数据,则触发一次读操作来获取新上传的数据部分即可。通过这种方式可以简化架构,增强扩展性。 使用限制
算法对对象数据进行加解密,避免数据明文存储。OBS不存储您提供的加密密钥,如果您丢失加解密密钥,则会无法获取该对象明文数据。详情请参见服务端加密SSE-C方式。 构建数据的恢复、容灾能力避免数据被异常破坏 预先构建数据的容灾和恢复能力,可以有效避免异常数据处理场景下数据误删、破坏的问题。
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 创建ObsClient实例 var
关于获取对象元数据的API说明,请参见获取对象元数据。 更多关于获取对象元数据的示例代码,请参见Github示例。 获取对象元数据过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据,返回信息包含对象的元数据信息。 父主题:
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还
配置小程序上传域名白名单。 微信小程序利用白名单机制管理跨域访问,想要实现数据上传,需要在微信小程序平台域名白名单中配置桶的访问域名。 获取桶的访问域名。 在桶列表单击待操作的桶,进入对象页面后单击“概览”。在“域名信息”下查看桶的访问域名。 图1 桶的访问域名 在微信小程序服务器域名配置中
使用数据回源获取源站数据 一般情况下,当客户端访问OBS时,如果OBS中没有被访问的数据,将会返回404错误。OBS提供数据回源功能,可以在被请求的数据不存在时,通过回源规则从源站获取对应数据。 镜像回源 用户为桶定义镜像回源规则后,如果客户端访问OBS桶中不存在的资源,且该资源
printStackTrace(); } } } 相关链接 关于获取桶元数据的API说明,请参见获取桶元数据。 更多关于获取桶元数据的示例代码,请参见Github示例。 获取桶元数据过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 桶和对象相关常见问题请参见桶和对象相关常见问题。
通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS) 迁移第三方云厂商数据至OBS_OMS方式 云数据迁移(Cloud Data Migration,CDM) 搬迁本地数据至OBS_CDM方式 数据快递服务(Data
OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 选择不同存储类别、不同数据冗余存储策略时,数据的持久性和可
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
然后再创建CDM作业,执行从本地数据搬迁到云端OBS的任务。 启动数据传输 运行CDM作业,启动数据传输。用户可以通过作业管理界面查看作业进度。 CDM方式示例:金融大数据咨询业务数据迁移 使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insig
配置和查看对象元数据 使用场景 元数据(Metadata)为描述对象属性的信息,是一组名称和值的配对,用作对象管理的一部分。OBS 中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍 系统定义的对象元数据
签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下: 应用客户端:即最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。 应用服务器:即提供该Android/iOS应用的开发者开发的AP
我的数据存在OBS中,如何保证安全性? OBS是非常安全的,提供端到端的安全服务。 保证数据正确性:系统会定期对数据做扫描,仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),且不会读取数据的具体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥