检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨区域使用OBS桶 默认情况下,Pod仅支持使用同一个区域(Region)的OBS桶。CCE支持工作负载使用其他区域的OBS桶,在某些场景下有利于提升OBS桶的资源利用率,但跨区域使用OBS相比同区域访问时延波动要更大。 约束与限制 CCE容器存储(Everest)版本要求1.2
参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题: 定时任务
Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 跨区域使用OBS桶 父主题: 存储
namespace:指定secret的命令空间 fsType 文件类型,支持“obsfs”与“s3fs”,取值为s3fs时创建是obs对象桶;取值为obsfs时创建的是obs并行文件系统。 volumeHandle 对象存储的桶名称。 创建PV。 kubectl create -f pv-example
公网访问CCE部署的服务并上传OBS,为何报错找不到host? 线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。 传输文件总量很大的话,会消耗很多资源,目前proxy分
System)是对象存储服务的子产品,是经过优化的高性能文件语义系统,主要应用于大数据场景。详细介绍请参见什么是并行文件系统。 关于对象存储的详细介绍,请以对象存储类别为准。 性能说明 容器负载挂载对象存储时,每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量
通过动态存储卷使用对象存储 本文介绍如何自动创建对象存储,适用于无可用的底层存储卷,需要新创建的场景。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常
name: pv-obs # PV的名称 spec: accessModes: - ReadWriteMany # 访问模式,对象存储必须为ReadWriteMany capacity: storage: 1Gi # 对象存储容量大小 csi:
情况,该参数可采用多种类型(file/http/local等),详情请参见官方文档。 访问对象存储服务OBS 使用spark-submit下发hdfs任务。请修改命令最后的参数为租户内实际的文件obs://bucket-name/filename。 spark-submit \
storage: 1Gi volumeName: pv-obs-example 表2 关键参数说明 参数 描述 volume.beta.kubernetes.io/storage-class 对象存储支持的存储类型,包括obs-standard、obs-standard-ia。
合经常修改。 解决方案 本文提供CCE+OBS结合的方式,提供了一种简化、可扩展、易维护的最佳实践方式,方便用户在CCE节点上做一些自定义操作。 将安装前和安装后脚本存放在OBS中,在创建节点池的时候,安装前和安装后注入脚本直接拉取OBS对应脚本的地址并执行即可。对于CCE节点池
群。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常驻进程会占用大量内存,为保证负载稳定运行,建议负载使用的对象存储卷数量不超过其申请的内存
使用kubectl自动创建对象存储 操作场景 动态使用OBS可以自动创建并挂载所期望的OBS对象存储,目前支持标准、低频两种类型的桶,分别对应obs-standard、obs-standard-ia。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。
hadoop.fs.obs.secret.key=SK_OF_YOUR_ACCOUNT spark.hadoop.fs.obs.endpoint=OBS_ENDPOINT spark.hadoop.fs.obs.buffer.dir=/root/hadoop-obs/obs-cache spark
CCE支持挂载第三方租户的OBS桶 CCE集群支持挂载使用第三方租户的OBS桶,包括OBS并行文件系统(优先)和OBS对象桶。 仅支持挂载同一区域下的第三方租户的并行文件系统和对象桶。 商用 4 CCE集成华为云容器安全服务(CGS) CCE集成华为云容器安全服务(CGS),容器安全服务能够扫描镜
对象存储卷概述 为满足数据持久化的需求,CCE支持将对象存储服务(OBS)创建的存储卷挂载到容器的某一路径下,对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 图1 CCE挂载对象存储卷 约束限制 安全容器不支持使用对象存储卷。 OBS限制单用户创建100个桶,但是
参照使用kubectl自动创建对象存储中操作创建对象存储卷,并获取PVC名称。 请参见通过kubectl连接集群,使用kubectl连接集群。 新建一个YAML文件,用于创建工作负载。假设文件名为obs-statefulset-example.yaml。 touch obs-statefulset-example
的某个OBS桶,具体操作流程请参见图1和表1。 图1 跨账号挂载对象存储 表1 操作流程说明 操作流程 说明 步骤一:创建OBS桶策略和桶ACL 账户A对OBS配置桶策略和和桶ACL,授予账号B相应的权限(如读写权限)。 步骤二:创建挂载OBS的工作负载 基于账号A的OBS桶,账
执行如下命令,配置名为“obs-deployment-example.yaml”的创建Pod的yaml文件。 touch obs-deployment-example.yaml vi obs-deployment-example.yaml 在无状态工作负载中基于pvc共享式使用对象存储示例: apiVersion: