集群节点使用networkpolicy概率性出现panic问题 问题场景 集群版本:v1.15.6-r1版本 集群类型:CCE集群 网络模式:容器隧道网络模式 节点操作系统:CentOS 7.6 上述集群的用户配置使用networkpolicy后,由于节点上canal-agent网络组件与CentOS
使用Jenkins和Gitlab实现多集群隔离的DevOps流程 方案概述 资源规划 实施步骤 父主题: DevOps
yaml 使用GPU训练 TFJob可在GPU场景下进行,该场景需要集群中包含GPU节点,并安装合适的驱动。 在TFJob中指定GPU资源。 创建tf-gpu.yaml文件,示例如下: 该示例的主要功能是基于Tensorflow的分布式架构,利用卷积神经网络(CNN)中的ResN
移除tiller Helm v3 使用更加简单和灵活的架构,移除了 tiller,直接通过kubeconfig连接apiserver,简化安全模块,降低了用户的使用壁垒。 改进了升级策略,采用三路策略合并补丁 Helm v2 使用双路策略合并补丁。在升级过程中,会对比最近一次发布的chart
0-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置(需要使用OBS Browser工具)。 例如:桶内文件路径/文件名,文件下载地址可至github中指定项目的指定路径下查找,示例如1、2所示。 m
便地部署、使用和管理当前最流行的机器学习软件。 目前Kubeflow 1.0版本已经发布,包含开发、构建、训练、部署四个环节,可全面支持企业用户的机器学习、深度学习完整使用过程。 如下图所示: 通过Kubeflow 1.0,用户可以使用Jupyter开发模型,然后使用fairin
GPU节点使用nvidia驱动启动容器排查思路 集群中的节点是否有资源调度失败的事件? 问题现象: 节点运行正常且有GPU资源,但报如下失败信息: 0/9 nodes are available: 9 insufficient nvidia.com/gpu 排查思路: 确认节点标签是否已经打上nvidia资源。
使用SWR触发器自动更新工作负载版本 操作场景 容器镜像服务可搭配云容器引擎CCE一起使用,实现镜像版本更新时自动更新使用该镜像的应用。您只需要为镜像添加一个触发器,通过触发器,可以在每次生成新的镜像版本时,自动执行更新动作,如:自动更新使用该镜像的应用。 前提条件 更新应用镜像
单击“创建”。等待job执行完成,进入OBS存储盘的outputimg下,可以看到推理使用的图片。 登录在集群中添加GPU节点添加的节点,执行docker logs {容器id}查看归类结果,可以看到结果:tabby cat。 使用GPU 创建一个普通job,镜像输入第三方镜像bvlc/caffe:gpu,设置对应的容器规格。
AOM中设置告警规则,您可以及时了解集群中各种资源是否存在异常。 告警配置流程 在SMN创建主题。 创建行动规则。 添加告警规则。 事件类告警:根据集群上报到AOM的事件配置告警。推荐配置的事件和配置方法请参见添加事件类告警。 指标类告警:实时监控环境中主机、组件等资源使用情况,
创建节点时使用OBS桶实现自定义脚本注入 应用现状 对于需要在节点上提前安装一些工具或者做用户自定义的安全加固等操作时,需要在创建节点的时候注入一些脚本。CCE创建节点提供了Kubernetes安装前和安装后两处注入脚本的功能。但是使用通常碰到如下限制: 注入脚本的字符有限。 各
$PATH echo $CLASSPATH 获取Spark包 由于OBS适配hadoop2.8.3和3.1.1版本,本文使用3.1.1。 下载v3.1.1版本的Spark。如环境中未安装git,您需要先执行yum install git安装git。 git clone -b v3.1.1 https://github
快导致节点数据盘使用率过高 问题现象 Containerd节点上业务容器标准输出不断写入大量日志,导致/var/lib/containerd目录占用空间不断增长,同时节点上容器创删速度变慢,进一步出现磁盘使用率过高、Pod驱逐、节点异常等现象。 问题根因 对于使用Containe
您需要提前创建负载均衡实例,并在CCE访问类型中选择负载均衡实例。 容器端口:指容器中工作负载启动监听的端口。端口根据每个业务的不同而不同,一般在容器镜像中已指定。 服务端口:代表负载均衡上注册的对外端口,请填写1-65535之间的整数值。外部用户使用“ELB的VIP:服务端口”访问工作负载。 DNAT网关
如果不配置集群管理权限,是否可以使用kubectl命令呢? 使用kubectl命令无需经过IAM认证,因此理论上不配置集群管理(IAM)权限是可以使用kubectl命令的。但前提是需要获取具有命名空间权限的kubectl配置文件(kubeconfig),以下场景认证文件传递过程中均存在安全泄露风险,应在实际使用中注意。
使用延迟绑定的云硬盘(csi-disk-topology)实现跨AZ调度 应用现状 云硬盘使用在使用时无法实现跨AZ挂载,即AZ1的云硬盘无法挂载到AZ2的节点上。有状态工作负载调度时,如果使用csi-disk存储类,会立即创建PVC和PV(创建PV会同时创建云硬盘),然后PVC
实施步骤 搭建Jenkins和Gitlab环境 配置集群环境 配置Gitlab项目 持续集成及持续部署 父主题: 使用Jenkins和Gitlab实现多集群隔离的DevOps流程
在Jenkins中创建一个新的构建作业,并配置其使用Gitlab的Git仓库。 在构建作业中,配置编译器和构建参数,以便从Git仓库中获取源代码并进行编译。 在构建成功后,将编译生成的镜像推送到SWR镜像仓库中。 在测试环境中,使用Kubernetes集群来部署这个镜像。 测试通过并经过审批后,将此镜像部署到另一个Kubernetes集群的生产环境中。
使用VPC和云专线实现容器与IDC之间的网络通信 使用场景 借助VPC和云专线,在VPC网络模型的集群中实现集群容器网段(172.56.0.0/16)与IDC网段(10.1.123.0/24)的相互通信。 图1 网络示意 表1 地址信息 网络 网段 用户侧IDC网络 10.1.123
弹性规格:适用于业务用量波动较大的场景,按实际使用量收取每小时使用的容量费用。v1.21.10-r10、v1.23.8-r10、v1.25.3-r10及以上版本集群支持使用弹性规格。 固定规格:适用于业务用量较为稳定的场景,按固定规格折算收取每小时使用的容量费用。 弹性公网IP:选择“自动
您即将访问非华为云网站,请注意账号财产安全