检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kubeflow部署成功后,使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例,您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST示例 部署TFJob资源以开始训练。
上部署和管理ClickHouse集群的工具,它具备复制集群、管理用户与配置文件以及处理数据持久化的存储卷等功能。这些功能共同简化了应用程序的配置、管理和监控工作。 表1 ClickHouse容器化部署方式 部署方式 部署方便程度 管理方便程度 Kubectl原生部署 难 难 Kubectl+Operator部署
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题: 批量计算
虚拟机。 在ECS虚拟机上安装kubectl命令行工具。 您可以尝试执行kubectl version命令判断是否已安装kubectl,如果已经安装kubectl,则可跳过此步骤。 本文以Linux环境为例安装和配置kubectl,更多安装方式请参考安装kubectl。 下载kubectl。
实施步骤 Jenkins Master安装部署 Jenkins Agent配置 使用Jenkins构建流水线 参考:Jenkins对接Kubernetes集群的RBAC 父主题: 在CCE中安装部署Jenkins
单击页面右上角“创建工作负载”,在“高级配置”中选择“网络配置”页签,并选择是否开启指定容器网络配置。 选择一个已有的容器网络配置。如果没有可用的网络配置,可单击“添加自定义容器网络配置”进行创建。 图6 选择容器网络配置 工作负载其余信息都配置完成后,单击“创建工作负载”。 返回到“配置中心”,在容器网
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题: 批量计算
在CCE集群中部署使用Tensorflow 资源准备 购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取
实例数量:使用默认。 实例配置:镜像版本选择1.5.2,其他参数保持默认。 单击“部署灰度版本”,待版本启动进度为100%,表明灰度版本部署成功。 图6 查看灰度版本状态 配置灰度策略 为灰度版本设置灰度策略,灰度版本会根据配置的流量配比引流老版本中的部分或全部流量。 灰度版本部署成功后,单击“配置灰度策略”。
为IPv6双栈网卡的Pod配置共享带宽 使用场景 默认情况下具有IPv6双栈网卡的Pod只具备IPv6私网访问能力,如果需要访问公网,则需要为该IPv6双栈网卡的Pod配置共享带宽。 约束限制 仅支持CCE Turbo集群,且需要满足以下条件: 集群已开启IPv6双栈。 集群版本为v1
通过模板包部署Nginx Ingress Controller 自定义部署Nginx Ingress Controller Nginx Ingress Controller高级配置 父主题: 网络
Volcano调度概述 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano
容器网络带宽限制的配置建议 应用场景 同一个节点上的容器会共用主机网络带宽,对容器的网络带宽进行限制,可以有效避免容器之间相互干扰,提升容器间的网络稳定性。 约束与限制 Pod带宽限制功能规格如下: 功能规格 容器隧道网络模型 VPC网络模型 云原生网络2.0模型 支持的集群版本 所有集群版本均支持
lugin)。 单击“安装”,安装插件的任务即可提交成功。 创建GPU节点。 在左侧菜单栏选择“节点管理”,单击右上角“创建节点”,在弹出的页面中配置节点的参数。 选择一个“GPU加速型”的节点规格,其余参数请根据实际需求填写,详情请参见创建节点。 完成配置后,单击“下一步:规格
80元/GB(按照您实际使用的出云流量收取流量费) 0.053 USD/小时+公网流量费用0.114 USD/GB(按照您实际使用的出云流量收取流量费) 父主题: 在CCE中安装部署Jenkins
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java-1
模板包至本地安装,也可以选择直接在线安装。 实例(Release):实例是Helm在Kubernetes集群中安装模板包后的运行结果。一个模板包通常可以在一个集群中安装多次,每次安装都会创建一个新的实例。以MySQL模板包为例,如果您想在集群中运行两个数据库,可以安装该模板包两次
登录CCE控制台,单击集群名称,进入集群。 在左侧选择“工作负载”,单击工作负载名称。 在“安全组策略”页签下,单击“创建”。 根据界面提示,配置参数, 具体如表1所示。 表1 配置参数 参数名称 描述 示例 安全组策略名称 输入安全组策略名称。 请输入1-63个字符,以小写字母开头,由小写字母、数字
cluster:在集群的工作节点上部署驱动程序。 client:(默认值)作为外部客户端在本地部署驱动程序。 --name:作业名称,集群中的Pod将以此开头。 --class:应用程序,例如org.apache.spark.examples.SparkPi。 --conf:Spark配置参数,使用键