检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时充值使可用额度大于0。如果您的业务场景所需的资源量较为稳定,可选择购买资源包来抵扣相应的资源费用,以节
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
SFS Turbo支持自定义数据淘汰策略,冷数据自动分级到OBS,释放高性能存储空间用于接收新的热数据。 访问冷数据时SFS Turbo从OBS自动加载数据提升访问性能。 5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架,kubernetes容器
登录OBS Browser+ 您可以登录OBS Browser+访问华为云OBS云服务,完成桶和对象的相关操作。您也可以通过登录OBS Browser+访问与OBS兼容的其他对象存储服务。 具体登录方式请参见表1。 表1 登录方式 分类 方式 场景 华为云对象存储服务 永久AK方式登录
默认为100秒。 根据实际业务设置。 配置小程序上传域名白名单。 微信小程序利用白名单机制管理跨域访问,想要实现数据上传,需要在微信小程序平台域名白名单中配置桶的访问域名。 获取桶的访问域名。 在桶列表单击待操作的桶,进入对象页面后单击“概览”。在“域名信息”下查看桶的访问域名。
涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁。
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
ObsConfiguration.setSocketWriteBufferSize 默认 socketReadBufferSize Socket接收缓冲区大小(单位:字节),对应java.net.SocketOptions.SO_RCVBUF参数。默认为-1表示不设置。 ObsConfiguration
创建访问密钥(AK和SK) 本节介绍如何通过OBS管理控制台创建访问密钥(AK和SK),访问密钥(AK和SK)用于对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。 背景知识 AK和SK支持IAM的认证机制,以下是对AK和SK的解释说明: AK:Access Key
如何理解Content-Type(MIME)? Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。Content-Type多用于指定一些客户端自定义的文件,以及一些媒体文件的打开方式。 如果您在上传Object时未指定Cont
如何理解Content-Type(MIME)(Node.js SDK) Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。Content-Type多用于指定一些客户端自定义的文件,以及一些媒体文件的打开方式。 如果您在上传Ob
获取理解Content-Type(MIME)?(Harmony SDK) Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。Content-Type多用于指定一些客户端自定义的文件,以及一些媒体文件的打开方式。 如果您在上传O
如何理解Content-Type(MIME)?(Java SDK) Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。Content-Type多用于指定一些客户端自定义的文件,以及一些媒体文件的打开方式。 如果您在上传Obje
如何理解Content-Type(MIME)?(Python SDK) Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。Content-Type多用于指定一些客户端自定义的文件,以及一些媒体文件的打开方式。 如果您在上传Ob
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站www.huaweicloud
obsutil 支持按前缀批量删除对象,详情请参见删除对象。 SDK 支持,批量删除对象一次能接收最大对象数目为1000个。 详情请参见SDK参考批量删除对象。 API 支持,批量删除对象一次能接收最大对象数目为1000个。 详情请参见批量删除对象。 批量删除的性能和单个请求内的对象数