检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
事件网格(EventGrid,简称EG)是华为云提供的一款Serverless事件总线服务,支持华为云服务云服务、自定义应用、SaaS应用以标准化、中心化的方式接入事件网格,通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。 OBS作为
Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访
运营商线路解析:根据访问者所在运营商,设置解析线路,详细内容请参见配置运营商线路解析。 地域解析:根据访问者所在地域,设置解析线路,详细内容请参见配置地域线路解析。 自定义线路:根据访问者所属IP网段,设置解析线路,详细内容请参见配置自定义线路解析。 全网默认 TTL(秒) 解析记录在本地DNS服务器的缓存时间,以秒为单位。
如何进行分段下载?(Java SDK) 在下载对象时,您可以指定下载对象的某一范围内的数据进行分段下载,步骤如下: 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient; 指定桶名和对象名初始化一个GetObjectRequest请求,您可以通过GetObjectRequest
sue,或者在华为云对象存储服务论坛中发帖求助。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管: static void test_put_object()
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
配置密钥 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端 配置OBS客户端 父主题: 初始化
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
SDK) 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。
可以在OBS上托管我的静态网站吗? OBS支持静态网站托管。用户可以通过OBS管理控制台将自己的桶配置成静态网站托管模式,当客户端通过桶的website接入点访问桶内的对象资源时,浏览器可以直接解析出这些网页资源,呈现给最终用户。 父主题: 静态网站托管
SDK) 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。
如何访问指定桶或指定目录 背景: 使用Browser+的过程中,在某些业务场景下,您登录的AK,SK仅有访问某个桶或者某个桶内指定路径的权限,在这种情况下如果直接使用AK、SK登录,由于缺乏获取桶列表等操作的权限,会导致登录时提示权限不足。 解决办法: 针对以上场景,Browse
如何处理碎片? OBS中的碎片会占用存储空间,会按照存储空间计费项进行计费。 您可以通过OBS管理控制台或OBS Browser+将桶中碎片清理掉。 如果是由于OBS Browser+分段上传任务中断产生的碎片,继续运行完成任务,碎片将会消失。 当存在运行中断或失败的分段上传任务
帖求助。 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
帖求助。 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。
是,执行5。 配置内网DNS 修改ECS的DNS服务器地址为华为云提供的内网DNS,可以通过修改VPC子网DNS地址和修改本地DNS配置两种方式实现。 方式一:修改VPC子网DNS地址 确定ECS所在VPC,并修改VPC子网的DNS服务器地址为内网DNS地址后,可以使整个VPC内的EC