检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取方法: 登录控制台后,单击顶部菜单右侧的“网络 > 弹性负载均衡ELB”,在网络控制台中单击“弹性负载均衡 > IP地址组”,复制目标IP地址组的“ID”即可。详情请参见IP地址组。
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题: 批量计算
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算
存储概述 存储概览 CCE的容器存储功能基于Kubernetes容器存储接口(CSI)实现,深度融合多种类型的云存储并全面覆盖不同的应用场景,而且完全兼容Kubernetes原生的存储服务,例如EmptyDir、HostPath、Secret、ConfigMap等存储类型。 图1
如何设置CCE集群中的VPC网段和子网网段? VPC中的子网网段一旦创建,便无法更改。创建虚拟私有云时,请预留一定的VPC网段和子网网段资源,避免后续无法扩容。 子网网段可在“创建虚拟私有云”页面的“子网配置 > 子网网段”中进行设置。在设置选项下可查看到“可用IP数”。 容器网段掩码如果设置不合适
Kubeflow部署 Kubeflow的诞生背景 基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程,它需要处理很多个环节。如图1所示,除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个
Tensorflow训练 Kubeflow部署成功后,使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例,您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST
在CCE集群中部署使用ClickHouse ClickHouse是一款用于联机分析(OLAP)的列式数据库管理系统,适用于处理大规模数据集的实时查询和分析。ClickHouse容器化部署方式主要有4种,具体请参见表1。ClickHouse Operator是在Kubernetes上部署和管理
负载均衡(LoadBalancer) 创建负载均衡类型的服务 使用Annotation配置负载均衡类型的服务 为负载均衡类型的Service配置HTTP/HTTPS协议 为负载均衡类型的Service配置服务器名称指示(SNI) 为负载均衡类型的Service配置跨集群的后端 为负载均衡类型的
扩展集群VPC网段 操作场景 在创建集群时会选择集群位于某个VPC内,如果VPC规划太小出现没有足够可用IP时,您可以采用VPC扩展网段满足业务扩容需求。本文介绍如何使用VPC扩展网段扩充集群网段。 约束与限制 仅支持v1.21及以上版本的CCE Standard集群和CCE Turbo
预置条件 本实践提供在CCE上运行caffe的基础分类例子https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置
请排查: 从集群外访问集群内负载时,来访者的IP地址、端口、协议需在集群安全组的入方向规则中开放。 集群内的工作负载访问外部时,访问的地址、端口、协议需在集群安全组的出方向规则中开放。 更多安全组配置信息请参见集群安全组规则配置。 父主题: 网络异常问题排查
资源准备 在集群中添加GPU节点 登录CCE控制台,单击已创建的集群,进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”,在右侧找到gpu-beta(或gpu-device-plugin),单击“安装”。 在安装插件页面,设置插件关键参数。 Nvidia驱动:填写Nvidia
Caffe分类范例 本实践采用caffe官方的分类例子,地址为https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb。 使用CPU 创建一个普通job,镜像输入第三方镜像bvlc/caffe
格式为一个键值对,键为DNS后缀域名,值为一个或一组DNS IP地址。本例中,配置为'content.internal --10.0.0.190'。 单击“确定”完成配置更新。
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java
**为负载均衡实例IP地址,80为对应界面上的访问端口。 可成功访问nginx。 图7 通过负载均衡访问nginx
本端网关(华为云侧) 云专线华为云侧接口互联IP地址。 本例中为10.0.0.1/30。 远端网关(用户侧) 用户本地数据中心侧网络的互联IP地址。 远端网关与本端网关需要设置为同一网段的IP地址,一般使用30位掩码。 本例中为10.0.0.2/30。
使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit,可以将Spark应用程序提交到Kubernetes集群中运行,详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下: 创建一个
port: 80 #服务端口号,可自定义 targetPort: 3000 #Grafana的默认端口号,无需更改 selector: app: grafana type: LoadBalancer 创建完成后在浏览器访问“负载均衡公网IP