检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题： 批量计算
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题： 批量计算
在CCE集群中部署使用Flink Flink是一个用于大规模数据处理的分布式流处理框架和计算引擎，可以处理有界（批处理）和无界（流处理）数据，提供低延迟、高吞吐量的实时数据处理能力，同时支持复杂事件处理和数据分析。在CCE集群中部署Flink，可以帮助您构建高效、可靠且灵活的数据
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题： 批量计算
x86_64内核系统 1.1.11 v1.15 v1.17 支持用户自定义驱动地址下载驱动 支持v1.15、v1.17集群 父主题： 云原生异构计算插件
IfNotPresent imagePullSecrets: - name: default-secret 父主题： 批量计算
NPU设备的管理插件 1.0.3 v1.13 v1.15 v1.17 支持容器里使用huawei NPU设备的管理插件 父主题： 云原生异构计算插件
Helm v2与Helm v3的差异及适配方案 随着Helm v2 发布最终版本Helm 2.17.0，Helm v3 现在已是 Helm 开发者社区支持的唯一标准。为便于管理，建议用户尽快将模板切换至Helm v3格式。 当前社区从Helm v2演进到Helm v3，主要有以下变化：
演进至 V3 版本，即日起平台会自动将集群中 Helm V2 格式实例转换为 Helm V3 格式。部分 Helm V2 功能在 Helm V3 上有了更好的解决方案，但可能存在与原有方式不兼容的情况，需要您根据Helm V3 与 Helm V2 的差异及适配方案进行排查并做相应的适配验证。
预置条件 本实践提供在CCE上运行caffe的基础分类例子https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶，并确认以下文件夹已创建，文件已上传至指定位置（需要使用OBS
资源准备 在集群中添加GPU节点 登录CCE控制台，单击已创建的集群，进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”，在右侧找到gpu-beta（或gpu-device-plugin），单击“安装”。 在安装插件页面，设置插件关键参数。 Nvidia驱动：填写
使用Volcano调度工作负载 Volcano是一个基于Kubernetes的批处理平台，提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户，并针对计算型应用提供了作业调度、作业管理、队列管理等多项功能。 一般情
"clickhousekeeperinstallations.clickhouse-keeper.altinity.com" deleted ... 父主题： 批量计算
此时已经可以使用spark-submit等二进制，执行以下命令查看所用的Spark版本。 spark-submit --version 配置Spark对接OBS 获取华为云OBS jar包。本文使用hadoop-huaweicloud-3.1.1-hw-45.jar，获取地址：https://github.co
Tensorflow训练 Kubeflow部署成功后，使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例，您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST示例
应用程序完成后，执行程序的Pod将终止并清理，但驱动程序Pod仍然存在并保持在“已停止”状态，直到最终进行垃圾回收或手动清理。在“已停止”状态下，驱动程序Pod不会使用任何计算或内存资源。 图1 提交机制的工作原理 在CCE上运行SparkPi例子 在执行Spark的机器上安装kubectl，详情请参见通过kubectl连接集群。
Caffe分类范例 本实践采用caffe官方的分类例子，地址为https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb。 使用CPU 创建一个普通job，镜像输入第三方镜像bvlc/caffe:cpu，设置对应的容器规格。
CCE集群根证书是Kubernetes认证的基础证书，华为云上的Kubernetes集群管理面托管在CCE管理平台上，证书也在CCE的管理平台上，不对用户开放，这个证书在平台上会定期维护，不会出现过期的情况。 X509证书在Kubernetes集群上也是默认开启的，更新平台自动会维护更新。 获取集群证书
K8s组件内存资源限制检查异常处理 检查项内容 检查K8s组件例如etcd、kube-controller-manager等组件是否资源超出限制。 解决方案 方案一：适当减少K8s资源。 方案二：扩大集群规格，详情请参见变更集群规格。 父主题： 升级前检查异常问题排查
图1 CCE产品架构 计算：全面适配华为云各类计算实例，支持虚拟机和裸机混合部署、高性价比鲲鹏实例、GPU和华为云独有的昇腾算力；支持GPU虚拟化、共享调度、资源感知的调度优化。 网络：支持对接高性能、安全可靠、多协议的独享型ELB作为业务流量入口。 存储：对接云存储，支持EVS、S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
