检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS和Yarn集群对接OBS配置项 在HDFS集群配置中选择“高级”,在core-site.xml的群集范围高级配置代码段(安全阀)增加OBS的ak、sk、endpoint和impl配置,对应名称为fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint、fs
磁带等传统存储设备的非常有吸引力的替代品。OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费,使得成本易于预测。
使用DIS发送OBS事件通知 本节介绍如何在OBS控制台配置DIS通知。 您可以新建DIS通知规则,也可以从同区域的其他桶复制已有DIS通知规则。 背景知识 OBS提供的DIS通知功能,主要面向大数据场景,要求OBS与数据接入服务(DIS)及其他大数据相关服务结合使用。 仅支持华
著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。 父主题: 大数据场景下使用OBS实现存算分离
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 OBS不支持在线预览
在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
接口函数:重新设计了接口函数,与旧版本(2.x.x)不兼容。 其他使用前须知 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 您可以先参考OBS客户端通用示例,了解OBS .NET SDK接口调用的通用方式。 使用OBS客户端进行接口调用操作完成后,没有
录将绑定对应的OBS桶 子目录名称不能重复 子目录名称必须是文件系统根目录下不存在的目录名 子目录名称不能是“.”或“..” 不支持 桶名 OBS存储桶桶名 无法绑定不存在的存储桶 目前仅支持OBS存储桶,不支持并行文件系统 不支持 OBS Endpoint OBS区域域名 OB
使用前需知 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 使用OBS客户端进行接口调用操作完成后,没有返回异常,则表明
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题: 入门
示99.99%。 使用OBS Browser上传大文件,进度条没有反应,状态一直是“等待中”。 回答 出现以上问题都是由于OBS Browser客户端版本老旧引起的,升级到最新版本OBS Browser客户端可解决以上问题。 推荐您开启OBS Browser的自动检查更新功能,及时获取最新版本。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
后再试。 使用了错误的账号或AK/SK访问OBS 多数情况下,出现无权限访问OBS的问题,可能是由于使用了错误的登录信息,如账号或AK/SK,其中AK/SK使用错误更为常见。例如资源拥有者给用户A开通了OBS权限,但实际使用了用户B的账号密码或AK/SK登录访问OBS。 需要与资
用户开通云审计服务并创建和配置追踪器后,CTS可记录OBS的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的OBS管理事件和数据事件列表,请参见审计。 图1 云审计服务 操作步骤 登录管理控制台。 在管理控制台左上角单击图标,选择区域。 选择“服务列表>
、分布式的事件驱动架构。 OBS作为云服务事件源将产生的云服务事件发送到EG,事件规则对云服务事件进行过滤和转换,通过转换后的事件触发事件目标(即函数工作流服务中的函数)。 图1 事件网格总体架构示意图 事件源:将华为云服务云服务、自定义应用、SaaS应用等应用程序产生的事件消息发布到事件订阅。
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
的数据库路径(可以在“系统配置 > 其他”中查看)删除obs文件夹中的所有文件,再重启客户端”的报错,并且无法通过删除数据库路径下的obs文件解决问题。 回答 使用用户名中只包含数字和大小写字母的用户登录Windows操作系统,再启动OBS Browser。 父主题: 问题处理
使用OBS Browser上传文件时,出现蓝屏或黑屏现象 问题 为什么使用OBS Browser上传文件时,出现蓝屏或黑屏现象? 回答 使用OBS Browser上传大量文件或少量大文件时,会占用较大的内存空间。请检查您PC机的内存剩余空间是否大于等于512MB,如果不足,请关闭