检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CoreDNS域名解析插件版本发布记录 表1 CoreDNS域名解析插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.30.6 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 支持Corefile配置 适配CCE v1.30集群 1
es集群内部的域名,其DNS请求都将指向forward指定的 DNS 服务器地址,这里“forward . /etc/resolv.conf”里面第一个“.”代表所有域名,后面“/etc/resolv.conf”表示使用节点的域名解析服务器。 通常要解析特定外部域名时,可以单独添
)中,Ps和Worker可以利用本机网络提供传输效率,缩短训练时间。 Volcano批量调度系统:加速AI计算的利器 Volcano是一款构建于Kubernetes之上的增强型高性能计算任务批量处理系统。作为一个面向高性能计算场景的平台,它弥补了Kubernetes在机器学习、深
timeout:超时时间 (s)。 ndots:域名中必须出现的"."的个数。如果域名中的"."的个数不小于ndots,则该域名为一个全限定域名,操作系统会直接查询;如果域名中的"."的个数小于ndots,操作系统会在搜索域中进行查询。 域名解析服务器地址:即dnsConfig字段中的
批量删除指定集群的资源标签 功能介绍 该API用于批量删除指定集群的资源标签。 此接口为幂等接口:删除时,如果删除的标签key不存在,默认处理成功。 调用方法 请参见如何调用API。 URI POST /api/v3/projects/{project_id}/clusters/
批量添加指定集群的资源标签 功能介绍 该API用于批量添加指定集群的资源标签。 每个集群支持最多20个资源标签。 此接口为幂等接口:创建时,如果创建的标签已经存在(key/value均相同视为重复),默认处理成功;key相同,value不同时会覆盖原有标签。 调用方法 请参见如何调用API。
节点本地域名解析加速插件版本发布记录 表1 节点本地域名解析加速插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.6.36 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 适配CCE v1.30集群 1.22.20 1.6.8 v1.23 v1
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题: 批量计算
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题: 批量计算
IfNotPresent imagePullSecrets: - name: default-secret 父主题: 批量计算
jobmanager-service.yaml 回显结果如下: service "flink-jobmanager" delete 父主题: 批量计算
资源准备 在集群中添加GPU节点 登录CCE控制台,单击已创建的集群,进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”,在右侧找到gpu-beta(或gpu-device-plugin),单击“安装”。 在安装插件页面,设置插件关键参数。 Nvidia驱动:填写
"clickhousekeeperinstallations.clickhouse-keeper.altinity.com" deleted ... 父主题: 批量计算
预置条件 本实践提供在CCE上运行caffe的基础分类例子https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置(需要使用OBS
Kubeflow部署 Kubeflow的诞生背景 基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程,它需要处理很多个环节。如图1所示,除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一
Tensorflow训练 Kubeflow部署成功后,使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例,您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST示例
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java-1
Caffe分类范例 本实践采用caffe官方的分类例子,地址为https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb。 使用CPU 创建一个普通job,镜像输入第三方镜像bvlc/caffe:cpu,设置对应的容器规格。
使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit,可以将Spark应用程序提交到Kubernetes集群中运行,详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下: