检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Kubeflow和Volcano实现典型AI训练任务 Kubernetes已经成为云原生应用编排、管理的事实标准, 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务,开发者非常愿意基于Kubernetes构建AI平台,充分利用
批量计算 在CCE集群中部署使用Kubeflow 在CCE集群中部署使用Caffe 在CCE集群中部署使用Tensorflow 在CCE集群中部署使用Flink 在CCE集群中部署使用ClickHouse 在CCE集群中部署使用Spark
image:预置镜像到SWR步骤中上传至SWR的镜像地址。 local:使用本地的jar包路径。本例中使用本地文件存放jar包,因此使用local类型。根据实际情况,该参数可采用多种类型(file/http/local等),详情请参见官方文档。 访问对象存储服务OBS 使用spark-submit下发hdfs任务
在CCE集群中部署使用Tensorflow 资源准备 购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取
使用密钥 密钥创建后,可在工作负载环境变量和数据卷两个场景使用。 请勿对以下CCE系统使用的密钥做任何操作,详情请参见集群系统密钥说明。 请不要操作kube-system下的secrets。 请不要操作任何命名空间下的default-secret、paas.elb。其中,defa
在CCE集群中部署使用Flink Flink是一个用于大规模数据处理的分布式流处理框架和计算引擎,可以处理有界(批处理)和无界(流处理)数据,提供低延迟、高吞吐量的实时数据处理能力,同时支持复杂事件处理和数据分析。在CCE集群中部署Flink,可以帮助您构建高效、可靠且灵活的数据
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算
离线作业优先使用超卖节点 若同时存在超卖与非超卖节点,在离线作业调度过程中,超卖节点得分高于非超卖节点,离线作业优先调度到超卖节点。 在线作业预选超卖节点时只能使用其非超卖资源 在线作业只能使用超卖节点的非超卖资源,离线作业可以使用超卖节点的超卖及非超卖资源。 同一调度周期在线作业先于离线作业调度
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题: 批量计算
HPA + CA工作流程 使用HPA+CA可以很容易做到弹性伸缩,且节点和Pod的伸缩过程可以非常方便地观察到,使用HPA+CA做弹性伸缩能够满足大部分业务场景需求。 本文将通过一个示例介绍HPA+CA两种策略配合使用下弹性伸缩的过程,从而帮助您更好地理解和使用弹性伸缩。 准备工作
Turbo集群中使用分布式云资源 CCE Turbo集群支持管理边缘基础设施(智能边缘小站)的能力。启用分布式支持后,一个集群可以统一管理数据中心和边缘的计算资源,用户可以便捷地根据应用的诉求将其部署在对应的区域。 CCE Turbo集群使用分布式云资源功能需要提前注册并部署智能边缘小站服务。
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题: 批量计算
主机,以及所有运行在主机上的其他进程都是隔离的。这个进程也是资源受限的,意味着它只能访问和使用分配给它的资源(CPU、内存等)。 典型的使用流程如图2所示: 图2 Docker容器典型使用流程 首先开发者在开发环境机器上开发应用并制作镜像。 Docker执行命令,构建镜像并存储在机器上。
使用临时路径 临时路径是Kubernetes原生的EmptyDir类型,生命周期与容器实例相同,并支持指定内存作为存储介质。容器实例消亡时,EmptyDir会被删除,数据会永久丢失。 通过控制台使用临时路径 登录CCE控制台,单击集群名称进入集群。 在左侧导航栏中选择“工作负载”,在右侧选择“无状态负载”页签。
v2,everest版本为2.4.4及以上支持使用,使用时需同时指定everest.io/disk-iops和everest.io/disk-throughput注解。 ESSD2:极速型SSD v2,everest版本为2.4.4及以上支持使用,使用时需指定everest.io/disk-iops注解。
使用第三方镜像 操作场景 CCE支持拉取第三方镜像仓库的镜像来创建工作负载。 通常第三方镜像仓库必须经过认证(账号密码)才能访问,而CCE中容器拉取镜像是使用密钥认证方式,这就要求在拉取镜像前先创建镜像仓库的密钥。 前提条件 使用第三方镜像时,请确保工作负载运行的节点可访问公网。
待GPU节点创建完成后,可前往“节点列表”查看节点状态。 导入OBS存储卷 进入存储管理页面,导入OBS存储数据预置中创建的OBS存储卷。 父主题: 在CCE集群中部署使用Caffe
使用前必读 欢迎使用云容器引擎(Cloud Container Engine,简称CCE)。云容器引擎提供高度可扩展的、高性能的企业级Kubernetes集群,支持运行Docker容器。借助云容器引擎,您可以在云上轻松部署、管理和扩展容器化应用程序。 您可以使用本文档提供API对
Container里产生的数据可以被主容器使用到。 Init Container可以在多种K8s资源里被使用到如Deployment、DaemonSet、Job等,但归根结底都是在Pod启动时,在主容器启动前执行,做初始化工作。 使用场景 部署服务时需要做一些准备工作,在运行服务的Pod中使用一个Init
其中,reviews服务有3个版本: v1(1.5.1)版本会调用ratings服务,并使用1到5个黑色星形图标来显示评分信息。 v2(1.5.0)版本不会调用ratings服务。 v3(1.5.2)版本会调用ratings服务,并使用1到5个红色星形图标来显示评分信息。 为了直观的展示灰度版本之间流