检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公网访问CCE部署的服务并上传OBS,为何报错找不到host? 线下机器访问CCE部署的服务并上传OBS,报错找不到host,报错截图如下: 问题定位 服务收到http请求之后,向OBS传输文件,这些报文都会经过Proxy。 传输文件总量很大的话,会消耗很多资源,目前proxy分
参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题: 定时任务
对象存储(OBS) 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥(AK/SK) 跨区域使用OBS桶 父主题: 存储
Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算
跨区域使用OBS桶 默认情况下,Pod仅支持使用同一个区域(Region)的OBS桶。CCE支持工作负载使用其他区域的OBS桶,在某些场景下有利于提升OBS桶的资源利用率,但跨区域使用OBS相比同区域访问时延波动要更大。 约束与限制 CCE容器存储(Everest)版本要求1.2
namespace:指定secret的命令空间 fsType 文件类型,支持“obsfs”与“s3fs”,取值为s3fs时创建是obs对象桶;取值为obsfs时创建的是obs并行文件系统。 volumeHandle 对象存储的桶名称。 创建PV。 kubectl create -f pv-example
hadoop.fs.obs.buffer.dir=/root/hadoop-obs/obs-cache spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.obs.connection
可自动创建对象存储和对应的PV对象。适用于无可用的底层存储,需要新创建的场景。 计费说明 挂载对象存储类型的存储卷时,通过StorageClass自动创建的对象存储默认创建计费模式为“按需计费”。关于对象存储的价格信息,请参见对象存储计费说明。 如需使用包周期的对象存储,请使用已有的对象存储进行挂载。
地址},例如:https://swr.cn-east-3.myhuaweicloud.com。镜像仓库地址获取方法:登录容器镜像服务控制台,进入“我的镜像”,单击“客户端上传”,在弹出的页面即可查看SWR当前Region的镜像仓库地址。 访问ID:遵循SWR的长期有效的认证凭证规
ce后端的容器可以获取客户端源IP。 若已使用Istio服务网格,获取源IP地址的方法请参见服务加入Istio后,如何获取客户端真实源IP? 支持获取源IP地址的场景 由于网络模型差异,CCE在部分使用场景下暂不支持获取源IP,如表1,若在集群使用过程中需要获取源IP,请尽量避免此类场景。表中“-”代表无此场景。
通过动态存储卷使用对象存储 本文介绍如何自动创建对象存储,适用于无可用的底层存储卷,需要新创建的场景。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常
如何上传我的镜像到CCE中使用? 镜像的管理是由容器镜像服务(SoftWare Repository)提供的,当前容器镜像服务提供如下上传镜像的方法: 客户端上传镜像 页面上传镜像 如您需要将Harbor镜像仓库平滑地迁移到容器镜像服务,请参考跨云Harbor同步镜像至华为云SWR。
操作步骤 创建OBS桶。 上传安装前和安装后脚本。以pre_install.sh和post_install.sh为例。 图1 上传脚本 为脚本配置只读安全策略,保证CCE节点可以免密下载的的同时,外网不可以下载。 配置tools/cce目录的策略,选择“只读模板”。 图2 配置对象策略
/api/v3/projects/{project_id}/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目ID,获取方式请参见如何获取接口URI中参数。 约束限制: 不涉及 取值范围: 账号的项目ID
对应请求消息头,响应同样也有消息头,如“Content-type”。 对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体 响应消息
如何获取接口URI中参数 项目ID(project_id) project_id即项目ID,可以通过控制台或API接口获取,具体请参见获取项目ID。 集群ID(cluster_id) 登录CCE控制台,在左侧导航栏中选择“集群管理”。 单击所创建集群的名称,进入集群详情页面,获取集群ID。
image:预置镜像到SWR步骤中上传至SWR的镜像地址。 local:使用本地的jar包路径。本例中使用本地文件存放jar包,因此使用local类型。根据实际情况,该参数可采用多种类型(file/http/local等),详情请参见官方文档。 访问对象存储服务OBS 使用spark-sub
者对桶或对象有完全控制权,其他用户可以对数据进行读写操作。 bucket-owner-read:上传者对自己上传的对象具有完全的控制权限,而桶的所有者对对象有读取权限,常用于跨账户共享的场景。 bucket-owner-full-control:上传者拥有对自己上传对象的写入权限
群。 约束与限制 使用对象存储时,挂载点不支持修改属组和权限。 使用PVC挂载对象存储时,负载每挂载一个对象存储卷,后端会产生一个常驻进程。当负载使用对象存储数过多或大量读写对象存储文件时,常驻进程会占用大量内存,为保证负载稳定运行,建议负载使用的对象存储卷数量不超过其申请的内存
com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置(需要使用OBS Browser工具)。 例如:桶内文件路径/文件名,文件下载地址可至github中指定项目的指定路径下查找,示例如1、2所示。