在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算
IAM用户无法使用调用API 问题现象 使用IAM用户调用API时,出现以下报错: "code":403,"message":"This user only supports console access, not programmatic access." 该错误表示IAM用户没有编程访问权限。
具体操作步骤请参见通过kubectl连接集群。 在Git仓库中准备一个应用,本文使用https://gitlab.com/c8147/examples.git仓库下nginx示例应用。 安装Argo CD 在集群中安装Argo CD服务端。 # kubectl create namespace
使用CCE需要关注哪些配额限制? 云容器引擎CCE配额只限制了集群个数,但是用户使用CCE时也会使用其他云服务,包括:弹性云服务器、云硬盘、虚拟私有云、弹性负载均衡、容器镜像服务等。 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题: 批量计算
Container里产生的数据可以被主容器使用到。 Init Container可以在多种K8s资源里被使用到如Deployment、DaemonSet、Job等,但归根结底都是在Pod启动时,在主容器启动前执行,做初始化工作。 使用场景 部署服务时需要做一些准备工作,在运行服务的Pod中使用一个Init
在CCE集群中部署使用Tensorflow 资源准备 购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取
Kubernetes提供的资源管理、应用编排、运维监控能力。 Kubernetes默认调度器在批量计算中存在的问题 Kubeflow在调度环境使用的是Kubernetes的默认调度器。而Kubernetes默认调度器最初主要是为长期运行的服务设计的,对于AI、大数据等批量和弹性调
使用kubectl自动创建文件存储 当前SFS文件存储处于售罄状态,暂时无法使用存储类自动创建PVC。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。 操作步骤 请参见通过kubectl连接集群,使用kubectl连接集群。 执行如下命令,配置名为
建无状态工作负载时,若使用了EVS云硬盘,建议工作负载只选择一个实例。 1.19.10以下版本的集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,当新Pod被调度到另一个节点时,会导致之前Pod不能正常读写。 1.19.10及以上版本集群中,如果使用HPA策略对挂载了EV
使用kubectl对接已有对象存储 操作场景 CCE支持使用已有的对象存储来创建PersistentVolume,并通过创建对应PersistentVolumeClaim绑定当前PersistentVolume使用。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。
使用kubectl自动创建对象存储 操作场景 动态使用OBS可以自动创建并挂载所期望的OBS对象存储,目前支持标准、低频两种类型的桶,分别对应obs-standard、obs-standard-ia。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。
metheus的要求,需要将其转换成Prometheus需要的格式,可以使用nginx-prometheus-exporter来转换Nginx的指标,如下所示。 图2 使用exporter转换数据格式 使用nginx:exporter和nginx-prometheus-exporter部署到同一个Pod,如下所示。
创建集群 使用账号登录CCE,并创建一个集群。 注意不要使用IAM用户user-example创建集群,因为CCE会自动为创建集群的用户添加该集群所有命名空间cluster-admin权限,也就是说该用户允许对集群以及所有命名空间中的全部资源进行完全控制。 使用IAM用户us
无法使用kubectl命令删除PV或PVC 现象描述 无法使用kubectl delete命令直接删除已有的PV或PVC,删除后会一直处于Terminating状态。 问题根因 Kubernetes为了防止误删除PV和PVC导致数据丢失,存在数据保护机制,无法使用delete命令直接删除。
挂载高危目录的情况下 ,建议使用低权限账号启动,否则可能会造成宿主机高危文件被破坏。 子路径 请输入存储卷的子路径,将存储卷中的某个路径挂载至容器,可以实现在单一Pod中使用同一个存储卷的不同文件夹。如:tmp,表示容器中挂载路径下的数据会存储在存储卷的tmp文件夹中。不填写时默认为根路径。
别共享给其他账号: 账号A为企业业务账号,使用子网1创建资源。 账号B为企业业务账号,使用子网2创建资源。 约束与限制 当前仅CCE Turbo集群支持共享VPC特性。 使用共享VPC创建的集群不支持使用共享ELB及NAT网关功能。 使用共享VPC创建的集群暂不支持文件存储、对象存储和极速文件存储。
参考验证数据持久化及共享性中的步骤进行验证。 通过kubectl命令行使用已有文件存储 您可以根据不同的使用场景选择不同的创建方式。 使用已有通用文件系统(SFS 3.0) 使用已有通用文件系统(SFS 3.0)的子目录 使用已有SFS容量型存储 使用kubectl连接集群。 创建PV。
通过动态存储卷使用专属存储。 本文示例中选择“新建存储卷”,可通过控制台同时创建PV及PVC。 关联存储卷a 选择集群中已有的PV卷,需要提前创建PV,请参考相关操作中的“创建存储卷”操作。 本文示例中无需选择。 专属存储b 单击“选择专属存储”,您可以在新页面中勾选满足要求的磁盘,并单击“确定”。
将会持久化保持,您可以参考验证数据持久化中的步骤进行验证。 通过kubectl命令行使用已有云硬盘 使用kubectl连接集群。 创建PV。当您的集群中已存在创建完成的PV时,可跳过本步骤。使用Yaml文件创建PV时,建议不要引入未在文档中声明的参数(如status、spec.claimRef以及annotation
您即将访问非华为云网站,请注意账号财产安全