检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成本计算模型 工作负载成本计算原理 工作负载成本是由Pod成本聚合而成。 Pod成本：使用监控指标和实际账单作为输入，通过CPU、内存使用量占整体节点资源比例计算出来的成本，结合Pod关联PVC存储的成本。 计算过程中，Pod的使用量为当前采样时刻下申请量（Request）和实际使用量（Real
批量计算 在CCE集群中部署使用Kubeflow 在CCE集群中部署使用Caffe 在CCE集群中部署使用Tensorflow 在CCE集群中部署使用Flink 在CCE集群中部署使用ClickHouse 在CCE集群中部署使用Spark
到2个GPU。但是TFJob1和TFJob2均需要4块GPU卡才能运行起来。这样TFJob1和TFJob2处于互相等待对方释放资源，这种死锁情况造成了GPU资源的浪费。 亲和调度问题 分布式训练中，Ps和Worker存在很频繁的数据交互，所以Ps和Worker之间的带宽直接影响了训练的效率。
云原生异构计算插件 CCE AI套件（NVIDIA GPU） CCE AI套件（Ascend NPU） 父主题： 插件
计算配置 节点池类型 节点池类型。不填写时默认为vm。 参数名 取值范围 默认值 是否允许修改 作用范围 .spec.type vm、ElasticBMS、pm vm 支持初始化时配置，不支持后续修改 CCE Standard/CCE Turbo 匹配实际节点ECS/BMS规格分类
计算配置 节点类型 参数名 取值范围 默认值 是否允许修改 作用范围 type 无 无 允许 CCE Standard/CCE Turbo CCE Standard集群： 弹性云服务器-虚拟机：基于弹性云服务器部署容器服务。 弹性云服务器-物理机：基于擎天架构的服务器部署容器服务。
高调度效率和资源利用率。 Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。
合理分配容器计算资源 只要节点有足够的内存资源，那容器就可以使用超过其申请的内存，但是不允许容器使用超过其限制的资源。如果容器分配了超过限制的内存，这个容器将会被优先结束。如果容器持续使用超过限制的内存，这个容器就会被终结。如果一个结束的容器允许重启，kubelet就会重启它，但是会出现其他类型的运行错误。
基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程，它需要处理很多个环节。如图1所示，除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个AI算法工程师来讲，如果要做模型训练，就不得不搭建一套AI计算平台，这个过程耗时费力，而且需要很多的知识积累。
Flink是一个用于大规模数据处理的分布式流处理框架和计算引擎，可以处理有界（批处理）和无界（流处理）数据，提供低延迟、高吞吐量的实时数据处理能力，同时支持复杂事件处理和数据分析。在CCE集群中部署Flink，可以帮助您构建高效、可靠且灵活的数据处理系统，支持多样化的业务应用，并充分利用大数据环境中
在支持AI，大数据等作业的时候提供了高精度的资源调度策略，例如在深度学习场景下计算效率非常重要。以TensorFlow计算为例，配置“ps”和“worker”之间的亲和性，以及“ps”与“ps”之间的反亲和性，可使“ps”和“worker”尽量调度到同一台节点上，从而提升“ps”和“wo
购买CCE集群，购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取tensorflow的ML范例，加以简单的修改。 basicClass.py
DCGM指标观测”，开启后将在GPU节点上同时部署dcgm-exporter组件。 启用dcgm-exporter组件后，采集的GPU监控数据如需上报AOM服务，请安装云原生监控插件并开启上报至AOM服务开关，同时前往“配置中心 > 监控运维配置”页开启dcgm-exporter
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题： 批量计算
工作目录、容器镜像的数据和镜像元数据；另一块用于Kubelet组件和EmptyDir临时存储等。容器引擎空间的剩余容量将会影响镜像下载和容器的启动及运行。 容器引擎和容器镜像空间（默认占90%）：用于容器运行时工作目录、存储容器镜像数据以及镜像元数据。 Kubelet组件和EmptyDi
应用程序完成后，执行程序的Pod将终止并清理，但驱动程序Pod仍然存在并保持在“已停止”状态，直到最终进行垃圾回收或手动清理。在“已停止”状态下，驱动程序Pod不会使用任何计算或内存资源。 图1 提交机制的工作原理 在CCE上运行SparkPi例子 在执行Spark的机器上安装kubectl，详情请参见通过kubectl连接集群。
ClickHouse是一款用于联机分析（OLAP）的列式数据库管理系统，适用于处理大规模数据集的实时查询和分析。ClickHouse容器化部署方式主要有4种，具体请参见表1。ClickHouse Operator是在Kubernetes上部署和管理ClickHouse集群的工具，它具备复制
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题： 批量计算
完成配置后，单击“下一步：规格确认”，确认所设置的服务选型参数、规格和费用等信息，并单击“提交”，开始创建节点。 待GPU节点创建完成后，可前往“节点列表”查看节点状态。 导入OBS存储卷 进入存储管理页面，导入OBS存储数据预置中创建的OBS存储卷。 父主题： 在CCE集群中部署使用Caffe
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题： 批量计算
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
