检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。
详细说明请参见对象存储卷挂载设置自定义访问密钥(AK/SK)。 创建PVC。
suspend 无 无 允许 - 成功任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit
Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 跨区域使用OBS桶 父主题: 存储
对象存储卷挂载设置自定义访问密钥(AK/SK) 背景信息 CCE容器存储(Everest)在1.2.8及以上版本提供了设置自定义访问密钥的能力,这样可以让IAM用户使用自己的访问密钥挂载对象存储卷,从而可以对OBS进行访问权限控制(具体请参见OBS不同权限控制方式的区别)。
资源与成本规划 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台显示为准。 完成本实践所需的资源如下: 表1 资源和成本规划 资源 资源说明 数量 费用(元) 弹性云服务器 ECS ECS虚拟机规格:4核8G或以上规格,Ubuntu 22.04操作系统。
公网访问CCE部署的服务并上传OBS,为何报错找不到host? 线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。
对象存储概述 对象存储介绍 对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。
实例类型 并行文件系统:一种对象存储服务提供的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS。 对象桶:OBS对象存储提供高可靠、高性能、高安全、低成本的数据存储能力,无文件数量限制、容量限制。
对象存储 OBS 集群中工作负载挂载的对象存储,CCE推荐使用并行文件系统类型的对象存储。通过CCE服务自动创建对象存储时,仅支持创建按需计费实例。 计费因子:存储空间、请求费用、流量费用(内网流量免费)、数据取回费用(仅归档存储涉及) 关于OBS计费详情请参见OBS计费模式。
obs.csi.everest.io # 挂载依赖的存储驱动 fsType: obsfs # 实例类型 volumeHandle: <your_volume_id> # 对象存储的名称 volumeAttributes
对象存储支持的存储类型,包括obs-standard、obs-standard-ia。
对于CCE节点池这处的配置基本来就可以不用变化了,后期如果有新的需求只需要更新OBS的脚本内容即可。 OBS桶维护建议 若无单独用于运维的OBS的桶,建议单独创建一个专用于运维的桶,方便后续整体运维组使用。
获取方法:在对象存储服务控制台,单击左侧栏目树中的“桶列表”或“并行文件系统”,单击要对接的对象存储名称进入详情页,在“概览 > 基本信息”页签下找到企业项目,单击并进入对应的企业项目控制台,复制对应的ID值即可获取对象存储所属的企业项目的ID。
访问对象存储服务OBS 使用spark-submit下发hdfs任务。请修改命令最后的参数为租户内实际的文件obs://bucket-name/filename。
=/root/hadoop-obs/obs-cache spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.obs.connection.ssl.enabled=false
使用kubectl自动创建对象存储 操作场景 动态使用OBS可以自动创建并挂载所期望的OBS对象存储,目前支持标准、低频两种类型的桶,分别对应obs-standard、obs-standard-ia。
此外,账号A也可以在OBS桶中查看新对象。 cat /tmp/test01.txt 回显内容如下,说明Pod对自己创建的对象具有读写权限。 test 步骤四:清理资源 完成该示例的学习后,您可以清理相关资源以避免产生结算费用。
对象存储 csi.storage.k8s.io/csi-driver-name 是 驱动类型,使用对象存储类型时,参数取值固定为“obs.csi.everest.io”。