检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨区域使用OBS桶 默认情况下,Pod仅支持使用同一个区域(Region)的OBS桶。CCE支持工作负载使用其他区域的OBS桶,在某些场景下有利于提升OBS桶的资源利用率,但跨区域使用OBS相比同区域访问时延波动要更大。 约束与限制 CCE容器存储(Everest)版本要求1.2
参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题: 定时任务
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 跨区域使用OBS桶 父主题: 存储
Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算
对象存储卷挂载设置自定义访问密钥(AK/SK) 背景信息 CCE容器存储(Everest)在1.2.8及以上版本提供了设置自定义访问密钥的能力,这样可以让IAM用户使用自己的访问密钥挂载对象存储卷,从而可以对OBS进行访问权限控制(具体请参见OBS不同权限控制方式的区别)。 前提条件
公网访问CCE部署的服务并上传OBS,为何报错找不到host? 线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。 传输文件总量很大的话,会消耗很多资源,目前proxy分
API接口,用户必须通过编程或第三方工具访问对象存储。 数据共享:服务器、嵌入式设备、IOT设备等所有调用相同路径,均可访问共享的对象存储数据。 公共/私有网络:对象存储数据允许在公网访问,满足互联网应用需求。 容量与性能:容量无限制,性能较高(IO读写时延10ms级)。 应用场
storage: 1Gi volumeName: pv-obs-example 表2 关键参数说明 参数 描述 volume.beta.kubernetes.io/storage-class 对象存储支持的存储类型,包括obs-standard、obs-standard-ia。
通过动态存储卷使用对象存储 本文介绍如何自动创建对象存储,适用于无可用的底层存储卷,需要新创建的场景。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常
name: pv-obs # PV的名称 spec: accessModes: - ReadWriteMany # 访问模式,对象存储必须为ReadWriteMany capacity: storage: 1Gi # 对象存储容量大小 csi:
hadoop.fs.obs.secret.key=SK_OF_YOUR_ACCOUNT spark.hadoop.fs.obs.endpoint=OBS_ENDPOINT spark.hadoop.fs.obs.buffer.dir=/root/hadoop-obs/obs-cache spark
存储卷类型:选择“对象存储”。 对象存储:单击“选择对象存储”,在新页面中勾选满足要求的对象存储,并单击“确定”。 PV名称:输入PV名称,同一集群内的PV名称需唯一。 访问模式:仅支持ReadWriteMany,表示存储卷可以被多个节点以读写方式挂载,详情请参见存储卷访问模式。 回收
该参数可采用多种类型(file/http/local等),详情请参见官方文档。 访问对象存储服务OBS 使用spark-submit下发hdfs任务。请修改命令最后的参数为租户内实际的文件obs://bucket-name/filename。 spark-submit \ --master
是固定的,不适合经常修改。 解决方案 本文提供CCE+OBS结合的方式,提供了一种简化、可扩展、易维护的最佳实践方式,方便用户在CCE节点上做一些自定义操作。 将安装前和安装后脚本存放在OBS中,在创建节点池的时候,安装前和安装后注入脚本直接拉取OBS对应脚本的地址并执行即可。对
com),而后端API服务使用另一个域名(如 api.example.com),前端应用在尝试从API服务获取数据时会遇到跨域资源共享问题,需要配置CORS允许跨域访问。 第三方服务集成:网站可能需要调用第三方服务(例如地图服务、社交平台登录等)的API接口,则需要配置CORS允许跨域访问。
com),而后端API服务使用另一个域名(如 api.example.com),前端应用在尝试从API服务获取数据时会遇到跨域资源共享问题,需要配置CORS允许跨域访问。 第三方服务集成:网站可能需要调用第三方服务(例如地图服务、社交平台登录等)的API接口,则需要配置CORS允许跨域访问。
使用kubectl自动创建对象存储 操作场景 动态使用OBS可以自动创建并挂载所期望的OBS对象存储,目前支持标准、低频两种类型的桶,分别对应obs-standard、obs-standard-ia。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。
OBS限制单用户创建100个桶,但是CCE使用OBS桶为单个工作负载挂载一个桶,当工作负载数量较多时,容易导致桶数量超过限制,OBS桶无法创建。建议此种场景下直接通过OBS的API或SDK使用OBS,不在工作负载中挂载OBS桶。 存储类别 对象存储提供了三种存储类别:标准存储、低频访问存储、归档存储,从而满足客户业务对存储性能、成本的不同诉求。
nfs:SFS弹性文件存储,详情可参见使用文件存储卷。 obs:OBS对象存储,详情可参见使用对象存储卷。 efs:SFS Turbo极速文件存储,详情可参见使用极速文件存储卷。 options 是 Options object flexVolume配置项 表6 Options 参数 是否必选 参数类型 描述
定义,用于在CSI挂载卷时提供访问凭证。 获取访问密钥。返回控制台,鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”,单击“新增访问密钥”,进入“新增访问密钥”页面。 单击“确定”,下载访问密钥。 对访问密钥进行base64编码(假设上