检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量计算 在CCE集群中部署使用Kubeflow 在CCE集群中部署使用Caffe 在CCE集群中部署使用Tensorflow 在CCE集群中部署使用Flink 在CCE集群中部署使用ClickHouse 在CCE集群中部署使用Spark
超卖资源适合部署离线作业，离线作业通常关注吞吐量，SLA要求不高，容忍一定的失败。在线作业和离线作业混合部署在Kubernetes集群中将有效的提升集群整体资源利用率。 目前Kubernetes的默认调度器是以Pod为单位进行调度的，不区分Pod中运行的业务类型。
在CCE集群中部署使用Flink Flink是一个用于大规模数据处理的分布式流处理框架和计算引擎，可以处理有界（批处理）和无界（流处理）数据，提供低延迟、高吞吐量的实时数据处理能力，同时支持复杂事件处理和数据分析。
Caffe分类范例 本实践采用caffe官方的分类例子，地址为https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb。 使用CPU 创建一个普通job，镜像输入第三方镜像bvlc/caffe
启用该能力后，可增强集群业务的吞吐量，提高业务运行性能。 修改完成后，单击“确认配置”。 父主题： AI任务性能增强调度
IOPS = min (128000, 1800 + 50 × 容量) IOPS=min (20000, 1800 + 12 × 容量) IOPS = min (50000, 1800 + 50 × 容量) IOPS = min (5000, 1800 + 8 × 容量) 云硬盘吞吐量性能计算公式
Tensorflow训练 Kubeflow部署成功后，使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例，您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST
使用Kubeflow和Volcano实现典型AI训练任务 Kubernetes已经成为云原生应用编排、管理的事实标准， 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务，开发者非常愿意基于Kubernetes构建AI平台，充分利用Kubernetes
计算公式：集群中所有XGPU设备的算力使用量之和 / 集群算力总量 节点-XGPU设备显存使用率 百分比 每个节点的GPU虚拟化设备显存使用率 计算公式：节点上所有XGPU设备的显存使用量之和 / 节点显存总量 节点-XGPU设备算力使用率 百分比 每个节点的GPU虚拟化设备算力使用率
预置条件 本实践提供在CCE上运行caffe的基础分类例子https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶，并确认以下文件夹已创建，文件已上传至指定位置
Kubeflow部署 Kubeflow的诞生背景 基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程，它需要处理很多个环节。如图1所示，除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个
在CCE集群中部署使用Tensorflow 资源准备 购买CCE集群，购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取tensorflow
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题： 批量计算
指标说明 图1 GPU资源指标 表1 GPU图表说明 图表名称 单位 说明 集群-显存使用率 百分比 集群的显存使用率 计算公式：集群内容器显存使用总量/集群内显存总量 集群-算力使用率 百分比 集群的算力使用率 计算公式：集群内容器算力使用总量/集群内算力总量 节点-显存使用量
使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下： 创建一个
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题： 批量计算
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题： 批量计算
在CCE集群中部署使用ClickHouse ClickHouse是一款用于联机分析（OLAP）的列式数据库管理系统，适用于处理大规模数据集的实时查询和分析。ClickHouse容器化部署方式主要有4种，具体请参见表1。ClickHouse Operator是在Kubernetes上部署和管理
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器，节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例，安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java
资源准备 在集群中添加GPU节点 登录CCE控制台，单击已创建的集群，进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”，在右侧找到gpu-beta（或gpu-device-plugin），单击“安装”。 在安装插件页面，设置插件关键参数。 Nvidia驱动：填写Nvidia
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
