检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
帮助数据工程师在集群上轻松部署计算应用,您无需关心复杂的部署运维,专注核心业务,快速实现从0到1快速上线。 优势 CCE通过集成Volcano,在高性能计算、大数据、AI等领域有如下优势: 多种类型作业混合部署:支持AI、大数据、HPC作业类型混合部署。 多队列场景调度优化:支持
存储多可用区部署的推荐配置 应用场景 在多可用区构成的集群下,业务可以指定可用区部署。 多可用区部署可以减少可用区资源不足带来的故障问题。 通过存储多可用区部署优化,可以帮您最大限度地减少应用发布中断,确保关键业务系统和应用在各种故障情况下能持续运行。 前提条件 您已创建一个安装CCE
公网访问CCE部署的服务并上传OBS,为何报错找不到host? 线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。 传输文件总量很大的话,会消耗很多资源,目前proxy分
在Jenkins中创建一个新的构建作业,并配置其使用Gitlab的Git仓库。 在构建作业中,配置编译器和构建参数,以便从Git仓库中获取源代码并进行编译。 在构建成功后,将编译生成的镜像推送到SWR镜像仓库中。 在测试环境中,使用Kubernetes集群来部署这个镜像。 测试通过并经过审批后,将此镜像部署到另一个Kubernetes集群的生产环境中。
计算配置 节点类型 参数名 取值范围 默认值 是否允许修改 作用范围 type 无 无 允许 CCE Standard/CCE Turbo CCE Standard集群: 弹性云服务器-虚拟机:基于弹性云服务器部署容器服务。 弹性云服务器-物理机:基于擎天架构的服务器部署容器服务。
在ECS虚拟机上安装kubectl命令行工具。 您可以尝试执行kubectl version命令判断是否已安装kubectl,如果已经安装kubectl,则可跳过此步骤。 本文以Linux环境为例安装和配置kubectl,更多安装方式请参考安装kubectl。 下载kubectl。 cd /home curl -LO
0.32元/小时+公网流量费用0.80元/GB(按照您实际使用的出云流量收取流量费) 0.053 USD/小时+公网流量费用0.114 USD/GB(按照您实际使用的出云流量收取流量费) 父主题: 在CCE中安装部署Jenkins
虚拟机。 在ECS虚拟机上安装kubectl命令行工具。 您可以尝试执行kubectl version命令判断是否已安装kubectl,如果已经安装kubectl,则可跳过此步骤。 本文以Linux环境为例安装和配置kubectl,更多安装方式请参考安装kubectl。 下载kubectl。
Jenkins Agent配置 安装完Jenkins后,可能会出现以下提示,说明Jenkins使用Master进行本地构建,未配置Agent。 如果您选择单Master安装Jenkins,执行完毕Jenkins Master安装部署中的操作后已完成,可直接进行流水线构建,请参见使用Jenkins构建流水线。
Kubeflow部署成功后,使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例,您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST示例 部署TFJob资源以开始训练。
用户“DAVID”为该公司某部门的主管,根据权限设计需要为其配置CCE服务的所有权限(包括集群权限和命名空间权限),因此需要在统一身份认证服务 IAM中单独为DAVID创建用户组“cce-admin”,并配置所有项目的权限:“CCE Administrator”,这样主管DAVID的权限就配置好了。 CCE Admi
CCE通过多年在混合部署领域的探索和实践,围绕Volcano和Kubernetes生态,构建帮助用户提升资源利用率,实现降本增效的云原生混部解决方案。 如上图所示,混部不是简单将小集群合并成一个大集群,然后将多个不同的业务部署在同一个集群中那么简单,而需要确保用户的应用能够部署到合适的位
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java-1
实施步骤 Jenkins Master安装部署 Jenkins Agent配置 使用Jenkins构建流水线 参考:Jenkins对接Kubernetes集群的RBAC 父主题: 在CCE中安装部署Jenkins
在CCE集群中部署使用Tensorflow 资源准备 购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取
before:虚机部署 after:容器部署 部署 部署成本高。 每给一家客户部署一套系统,就需要购置一台虚拟机。 成本降低50%以上。 通过容器服务实现了多租隔离,在同一台虚拟机上可以给多个企业部署系统。 升级 升级效率低。 版本升级时,需要逐台登录虚拟机手动配置升级,效率低且容易出错。
cluster:在集群的工作节点上部署驱动程序。 client:(默认值)作为外部客户端在本地部署驱动程序。 --name:作业名称,集群中的Pod将以此开头。 --class:应用程序,例如org.apache.spark.examples.SparkPi。 --conf:Spark配置参数,使用键
如果对已有的定时任务(CronJob)进行修改,修改之后运行的新Pod将使用新的配置,而已经运行的Pod将继续运行不会发生任何变化。 回退 无状态工作负载可以进行回退操作,仅无状态工作负载可用。 重新部署 工作负载可以进行重新部署操作,重新部署后将重启负载下的全部容器组Pod。 关闭/开启升级 无状态
通过模板包部署Nginx Ingress Controller 自定义部署Nginx Ingress Controller Nginx Ingress Controller高级配置 父主题: 网络
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算