检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于上述优势,华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与
业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外,OBS支持SDK和OBS API接口,可使用户方便管理
Content-Length: length Date: date 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息元数。 响应消息样式 HTTP/1.1 status_code Date: date
Content-Length: length Date: date 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 该请求消息中不使用消息元素。 响应消息样式 HTTP/1.1 status_code Date: date
访问OBS域名失败,连接不上CA证书 在证书不受信的情况下,访问OBS域名会失败,需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书(以Chrome浏览器为例)。 在浏览器中访问OBS域名:https://obs.myhuaweicloud.com。 单击域名左侧的,选择“证书”。
FunctionGraph、语音识别、OBS、SIS 无服务器日志实时分析 该解决方案帮助您基于无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档 FunctionGraph、OBS、ECS、LTS、SMN 无服务器图片生成缩略图 基于函数工作流 FunctionGr
如果设置的endpoint不带协议类型,则默认使用HTTPS协议。 使用完OBS客户端后可以调用ObsClient -> close方法显式关闭,回收连接资源。 如果未调用ObsClient -> close方法,则该方法会被ObsClient的析构函数调用,以确保连接资源的释放。 出于DNS解析
配置桶触发器(Python SDK) 功能说明 在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.putTriggerPolicy(rules) 请求参数 表1 请求参数列表
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
创建的目录深度不超过45层。 因使用FUSE框架存在内核态与用户态切换,不适合高并发场景。 ls、stat等linux命令需要远程访问OBS服务器,所以性能较差。 一个并行文件系统支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。
替换原文件保存,浏览器会弹出无法下载的提示。 回答 此问题是由于浏览器不兼容导致的,使用其他浏览器即可规避此问题。 出现此问题后,关闭浏览器后再重试,也可以规避此问题。 父主题: OBS控制台使用相关
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
单击页面右上角的“设置”按钮,单击“Internet选项 > 高级”,勾选“使用SSL 2.0”,“使用SSL 3.0”,“使用TLS 1.0”,“使用TLS 1.1”,“使用TLS 1.2”,如图1所示。 图1 Internet选项 单击“确定”。 父主题: OBS控制台使用相关
单击“确定”,确认删除碎片。 图1 删除碎片 使用API 您可以通过以下步骤来直接删除桶中碎片: 使用列举桶中已初始化多段任务接口,来列举所有分段上传任务,获取所有UploadId。 使用取消多段上传任务接口,来取消分段上传任务,即可删除所有碎片。 使用SDK OBS SDK通常只有采用多
此IP值仅用于举例,使用时请根据您的实际情况填写IP值。 说明: 如果需要同时配置多个IP地址(IP地址段),请以英文逗号隔开。 只能用于限制源IP,不能用于区分内外网。 如果您通过ECS云服务器访问OBS,且ECS云服务器和OBS同属于华北-北京一,需要使用SourceIP条件
基本概念 使用OBS API涉及的常用概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账
proxyHost 代理服务器的主机地址。 proxyConfig.proxyHost = @"host" proxyPort 代理服务器的端口号。 proxyConfig.proxyPort = @"port" username 连接代理服务器时使用的用户名。 proxyConfig
增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令,将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1
使用前需知 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 您可以先参考OBS客户端通用示例,了解OBS