检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨区域使用OBS桶 默认情况下,Pod仅支持使用同一个区域(Region)的OBS桶。CCE支持工作负载使用其他区域的OBS桶,在某些场景下有利于提升OBS桶的资源利用率,但跨区域使用OBS相比同区域访问时延波动要更大。 约束与限制 CCE容器存储(Everest)版本要求1.2
参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题: 定时任务
Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 跨区域使用OBS桶 父主题: 存储
公网访问CCE部署的服务并上传OBS,为何报错找不到host? 线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。 传输文件总量很大的话,会消耗很多资源,目前proxy分
namespace:指定secret的命令空间 fsType 文件类型,支持“obsfs”与“s3fs”,取值为s3fs时创建是obs对象桶;取值为obsfs时创建的是obs并行文件系统。 volumeHandle 对象存储的桶名称。 创建PV。 kubectl create -f pv-example
System)是对象存储服务的子产品,是经过优化的高性能文件语义系统,主要应用于大数据场景。详细介绍请参见什么是并行文件系统。 关于对象存储的详细介绍,请以对象存储类别为准。 性能说明 容器负载挂载对象存储时,每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量
通过动态存储卷使用对象存储 本文介绍如何自动创建对象存储,适用于无可用的底层存储卷,需要新创建的场景。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常
是固定的,不适合经常修改。 解决方案 本文提供CCE+OBS结合的方式,提供了一种简化、可扩展、易维护的最佳实践方式,方便用户在CCE节点上做一些自定义操作。 将安装前和安装后脚本存放在OBS中,在创建节点池的时候,安装前和安装后注入脚本直接拉取OBS对应脚本的地址并执行即可。对
hadoop.fs.obs.secret.key=SK_OF_YOUR_ACCOUNT spark.hadoop.fs.obs.endpoint=OBS_ENDPOINT spark.hadoop.fs.obs.buffer.dir=/root/hadoop-obs/obs-cache spark
底层存储是否支持。 约束与限制 挂载参数暂不支持安全容器。 对象存储挂载参数 CCE的存储插件everest在挂载对象存储时默认设置了表1和表2的参数,其中表1中的参数不可取消。除了这些参数外,您还可以设置其他的对象存储挂载参数,具体请参见挂载并行文件系统。 表1 默认使用且不可取消的挂载参数
name: pvc-obs-example namespace: default flexVolume: driver: huawei.com/fuxiobs fsType: obs options: fsType: obs
群。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常驻进程会占用大量内存,为保证负载稳定运行,建议负载使用的对象存储卷数量不超过其申请的内存
该参数可采用多种类型(file/http/local等),详情请参见官方文档。 访问对象存储服务OBS 使用spark-submit下发hdfs任务。请修改命令最后的参数为租户内实际的文件obs://bucket-name/filename。 spark-submit \ --master
时会遇到跨域资源共享问题,需要配置CORS允许跨域访问。 第三方服务集成:网站可能需要调用第三方服务(例如地图服务、社交平台登录等)的API接口,则需要配置CORS允许跨域访问。 使用内容分发网络CDN:静态资源可能通过CDN提供,而CDN域名与主站域名不同,需要使用跨域访问来加载这些资源。
时会遇到跨域资源共享问题,需要配置CORS允许跨域访问。 第三方服务集成:网站可能需要调用第三方服务(例如地图服务、社交平台登录等)的API接口,则需要配置CORS允许跨域访问。 使用内容分发网络CDN:静态资源可能通过CDN提供,而CDN域名与主站域名不同,需要使用跨域访问来加载这些资源。
使用kubectl自动创建对象存储 操作场景 动态使用OBS可以自动创建并挂载所期望的OBS对象存储,目前支持标准、低频两种类型的桶,分别对应obs-standard、obs-standard-ia。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。
的某个OBS桶,具体操作流程请参见图1和表1。 图1 跨账号挂载对象存储 表1 操作流程说明 操作流程 说明 步骤一:创建OBS桶策略和桶ACL 账户A对OBS配置桶策略和和桶ACL,授予账号B相应的权限(如读写权限)。 步骤二:创建挂载OBS的工作负载 基于账号A的OBS桶,账
节点DNS检查异常处理 检查项内容 当前检查项包括以下内容: 检查当前节点DNS配置是否能正常解析OBS地址 检查当前节点是否能访问存储升级组件包的OBS地址 解决方案 节点升级过程中,需要从OBS拉取升级组件包。此项检查失败,请联系技术人员支持。 父主题: 升级前检查异常问题排查
对象存储卷概述 为满足数据持久化的需求,CCE支持将对象存储服务(OBS)创建的存储卷挂载到容器的某一路径下,对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 图1 CCE挂载对象存储卷 约束限制 安全容器不支持使用对象存储卷。 OBS限制单用户创建100个桶,但是