检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
签名计算工具 OBS提供可视化签名计算工具,帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写(GET/PUT)带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 如果您的业务有更大的带宽需求,请提交工单申请。 每秒请求数(Query Per Second, QPS) 单个华为云账号默认的写请求(PUT Object)上限是6000请求每秒。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
义,为大数据计算提供了更好的性能。 基于上述优势,华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分
存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间小于30天按30天计算,大于30天按实际天数计算。早于30
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
求制定合适的备份策略,达到安全、高效的备份目的。 使用Commvault备份本地SAP HANA SAP HANA是基于内存计算技术的高性能实时数据计算平台,多应用于需要处理大量实时业务数据的企业。备份软件Commvault,与SAP HANA 、OBS无缝集成,支持在线数据库、日志的备份。当SAP
查询华为云算子模板详情 功能介绍 本接口用于按名称查询Action模板。 请求消息样式 GET /v2/actiontemplates/{template_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization:
工作流实例管理 查询工作流实例列表(Python SDK) 查询工作流实例(Python SDK) 恢复失败状态的工作流实例 父主题: 服务编排接口(Python SDK)
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
t、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
为账号充值。 注册华为账号并实名认证。 如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
购买了回源流量包是否还需要购买公网流出流量包? 回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台
以上传对象为例,对一个对象或者段的每一次操作都会计算一次请求次数。假设上传一个拥有100个对象的文件夹: 在都使用PutObject方式上传的情况下,会发送100次PUT请求,计算100次请求次数。 如果其中有一些大对象需要分段上传,则会根据分成的段数额外计算分段上传的请求次数,此外还会有初始