检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨区域使用OBS桶 默认情况下,Pod仅支持使用同一个区域(Region)的OBS桶。CCE支持工作负载使用其他区域的OBS桶,在某些场景下有利于提升OBS桶的资源利用率,但跨区域使用OBS相比同区域访问时延波动要更大。 约束与限制 CCE容器存储(Everest)版本要求1.2
就可以不用变化了,后期如果有新的需求只需要更新OBS的脚本内容即可。 OBS桶维护建议 若无单独用于运维的OBS的桶,建议单独创建一个专用于运维的桶,方便后续整体运维组使用。 建议在桶中新建多级目录tools/cce,表示工具集合中的cce部分下,方便维护,后续还可以放其他的工具脚本。
/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置(需要使用OBS Browser工具)。 例如:桶内文件路径/文件名,文件下载地址可至github中指定项目的指定路径下查找,示例如1、2所示。
test_labels) plt.savefig('/home/img/basicimg5.png') 进入刚刚创建的OBS桶页面,创建文件夹data和img,并将basicClass.py上传。 进入data文件夹,将刚刚下载的四个gz文件上传。 机器学习范例 本篇范例采用tensorflow官网的ml
创建一个Pod,用于运行Spark的驱动程序。 驱动程序在集群中创建执行程序的Pod并与其建立连接,用于执行应用程序代码。 应用程序完成后,执行程序的Pod将终止并清理,但驱动程序Pod仍然存在并保持在“已停止”状态,直到最终进行垃圾回收或手动清理。在“已停止”状态下,驱动程序Pod不会使用任何计算或内存资源。
容易导致桶数量超过限制,OBS桶无法创建。此种场景下建议直接调用OBS的API或SDK使用OBS,不在工作负载中挂载OBS桶。 通过控制台自动创建对象存储 登录CCE控制台,单击集群名称进入集群。 动态创建存储卷声明和存储卷。 在左侧导航栏选择“存储”,在右侧选择“存储卷声明”页签。单击右上角“创建存储卷声明
Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算
执行如下命令创建PVC。 kubectl create -f pvc-obs-auto-example.yaml 命令执行完成后会在集群所在VPC内创建一个对象存储桶,您可以在“存储管理 > 对象存储卷”中单击桶名称查看该桶,也可以在OBS的控制台查看该桶。 父主题: 对象存储卷
通过静态存储卷使用已有对象存储 本文介绍如何使用已有的对象存储静态创建PV和PVC,并在工作负载中实现数据持久化与共享性。 前提条件 您已经创建好一个集群,并且在该集群中安装CCE容器存储(Everest)。 如果您需要通过命令行创建,需要使用kubectl连接到集群,详情请参见通过kubectl连接集群。
hadoop.fs.obs.buffer.dir=/root/hadoop-obs/obs-cache spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.obs.connection
OBS限制单用户创建100个桶,但是CCE使用OBS桶为单个工作负载挂载一个桶,当工作负载数量较多时,容易导致桶数量超过限制,OBS桶无法创建。建议此种场景下直接通过OBS的API或SDK使用OBS,不在工作负载中挂载OBS桶。 存储类别 对象存储提供了三种存储类别:标准存储、低频访问存储、归档存储,从而满足客户业务对存储性能、成本的不同诉求。
使用kubectl自动创建文件存储 当前SFS文件存储处于售罄状态,暂时无法使用存储类自动创建PVC。 约束与限制 如下配置示例适用于Kubernetes 1.13及以下版本的集群。 操作步骤 请参见通过kubectl连接集群,使用kubectl连接集群。 执行如下命令,配置名为
创建节点 前提条件 已创建至少一个集群。 您需要新建一个密钥对,用于远程登录节点时的身份认证。 若使用密码登录节点,请跳过此操作。创建方法请参见创建密钥对。 约束与限制 创建节点过程中依赖OBS等周边服务,因此节点所在子网的DNS配置不可修改。 集群开启IPv4/IPv6双栈时,
操作步骤 登录OBS控制台,创建对象存储桶,记录桶名称和存储类型。 请参见通过kubectl连接集群,使用kubectl连接集群。 新建两个yaml文件,用于创建PersistentVolume(PV)、PersistentVolumeClaim(PVC),假设文件名为pv-obs-example
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 跨区域使用OBS桶 父主题: 存储
参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题: 定时任务
在VPC网络集群中访问集群外地址时使用Pod IP作为客户端源IP 在使用VPC网络的CCE集群中,Pod与集群外部通信时,系统默认会将源Pod的IP地址转换为节点的IP地址,使Pod以节点IP的形式与外部进行通信。这一过程被称为“Pod IP伪装”,技术上也称为源网络地址转换(Source
静态创建对象存储卷时指定挂载Secret 使用访问密钥创建Secret后,在创建PV时只需要关联上Secret,就可以使用Secret中的访问密钥(AK/SK)挂载对象存储卷。 登录OBS控制台,创建对象存储桶,记录桶名称和存储类型,以并行文件系统为例。 新建一个pv的yaml文件,如pv-example.yaml。
ScalingUp:扩容中,表示集群正处于扩容过程中。 ScalingDown:缩容中,表示集群正处于缩容过程中。 Creating:创建中,表示集群正处于创建过程中。 Deleting:删除中,表示集群正处于删除过程中。 Upgrading:升级中,表示集群正处于升级过程中。 Resiz
在CCE集群中使用密钥Secret的安全配置建议 当前CCE已为secret资源配置了静态加密,用户创建的secret在CCE的集群的etcd里会被加密存储。当前secret主要有环境变量和文件挂载两种使用方式。不论使用哪种方式,CCE传递给用户的仍然是用户配置时的数据。因此建议: