检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CCE集群中部署使用Caffe 预置条件 资源准备 Caffe分类范例 父主题: 批量计算
在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题: 批量计算
服务API的最大吞吐量/并发量与承诺的服务吞吐量/并发量需要100%吻合。当发现无法达到承诺的吞吐量/并发量时,API提供方应从架构上通过扩容等手段提升吞吐量和并发量。 父主题: API开放
几种不同类型的归档,区别是什么 标准存储 标准存储访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景。 适合高性能,高可靠,高可用,频繁访问场景。
使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit,可以将Spark应用程序提交到Kubernetes集群中运行,详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下: 创建一个
预置条件 本实践提供在CCE上运行caffe的基础分类例子https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb的过程。 OBS存储数据预置 创建OBS桶,并确认以下文件夹已创建,文件已上传至指定位置
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。
表1 数据库安全服务版本规格说明 版本 支持的数据库实例 性能参数 入门版 最多支持1个数据库实例 吞吐量峰值:1,000条/秒 入库速率:120万条/小时 在线SQL语句存储:1亿条 基础版 最多支持3个数据库实例 吞吐量峰值:3,000条/秒 入库速率:360万条/小时 在线SQL
fio --version 文件系统性能数据 SFS Turbo文件系统的性能主要有IOPS和吞吐量等指标,具体各指标数据参见表1。
在CCE集群中部署使用Kubeflow Kubeflow部署 Tensorflow训练 使用Kubeflow和Volcano实现典型AI训练任务 父主题: 批量计算
在CCE集群中部署使用Tensorflow 资源准备 购买CCE集群,购买GPU节点并使用gpu-beta插件安装显卡驱动。 在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取tensorflow
测量对象&维度 监控周期(原始指标) bandwidth_usage 带宽使用率 当前流量带宽与最大带宽限制的百分比 0-200% 测量对象: Redis 4.0及以上版本 主备、读写分离、集群实例数据节点 测量维度: dcs_cluster_node 1分钟 其中,带宽使用率的计算公式为
CloudTable服务是基于公有云实现的全托管服务,为用户提供专属集群,即开即用,适合业务吞吐量大,时延要求低的用户。选择CloudTable服务,可以免部署、免运维,按需申请,减低成本,能够获取专业指导。 父主题: 通用类
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器,节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例,安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java
1:货币 2:时长 3:流量 4:数量 6:长度 7:容量 9:行数 10:周期 11:频率 12:个数 15:容量*时长 16:带宽速率 17:容量时长 18:查询速率 19:带宽速率(1000进制) 20:性能测试用量 21:面积 22:视频 23:吞吐量 24:分辨率 26:
1:货币 2:时长 3:流量 4:数量 6:长度 7:容量 9:行数 10:周期 11:频率 12:个数 15:容量*时长 16:带宽速率 17:容量时长 18:查询速率 19:带宽速率(1000进制) 20:性能测试用量 21:面积 22:视频 23:吞吐量 24:分辨率 26:
Kubeflow部署 Kubeflow的诞生背景 基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程,它需要处理很多个环节。如图1所示,除了熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个
Tensorflow训练 Kubeflow部署成功后,使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例,您可参考TensorFlow Training (TFJob)获取更详细的信息。 创建MNIST
在CCE集群中部署使用ClickHouse ClickHouse是一款用于联机分析(OLAP)的列式数据库管理系统,适用于处理大规模数据集的实时查询和分析。ClickHouse容器化部署方式主要有4种,具体请参见表1。ClickHouse Operator是在Kubernetes上部署和管理
fio --version 文件系统性能数据 SFS Turbo文件系统的性能主要有IOPS和吞吐量等指标,具体各指标数据参见表1。