运维数据开发-华为云

应用平台 APPSTAGE-CSS数据管理:更多操作

更多操作您还可以对 CSS 进行以下操作。表2 CS S管理操作名称操作步骤导入在CSS页面单击“导入”。上传文件。查看导入进度在CSS页面单击“查看导入进度”。导出在CSS页面列表中，勾选需要导出的CSS索引。单击列表上方的“导出”。编辑Tags 在CSS页面单击“编辑Tags”。在“编辑Tags”页面单击“新建Tags”。输入Tags并单击“保存”。单击“确定”。关联Tags 编辑并新建Tags后，在CSS页面列表中，单击待关联Tags索引所在行的“关联Tags”。选择已新建的Tags。单击“确定”。查看索引状态在CSS页面列表中，单击待查看状态的CSS索引所在行的“索引状态”。编辑索引在CSS页面列表中，单击待编辑CSS索引所在行的“编辑”。删除索引在CSS页面列表中，单击待删除CSS索引所在行的“删除”。查看操作历史在CSS页面列表中，单击待查看操作历史的CSS索引所在行的“操作历史”。查看历史版本信息在CSS页面列表中，单击待查看历史版本信息的CSS索引所在行的“历史版本信息”。（可选）可单击历史版本所在行的“对比当前版本”，查看版本差异。

应用平台 APPSTAGE 运维数据开发

应用平台 APPSTAGE-Spark实时开发:更多操作

更多操作您还可以对Spark任务进行以下操作。表2 Spark任务管理操作名称操作步骤编辑Tags 在Spark页面单击“编辑Tags”。在“编辑Tags”页面单击“新建Tags”。输入Tags并单击“保存”。单击“确定”。关联Tags 编辑并新建Tags后，在Spark任务列表中，单击待关联Tags的Spark任务所在行的“关联Tags”。选择已新建的Tags。单击“确定”。编辑Spark任务在Spark任务列表中，单击待编辑Spark任务所在行的“编辑”。删除Spark任务在Spark任务列表中，单击待删除Spark任务所在行的“删除”。启动Spark任务在Spark任务列表中，单击待启动Spark任务所在行的“启动”。批量启动Spark任务在Spark任务列表中，勾选待启动Spark任务。单击列表上方的“批量启动”。停止Spark任务在Spark任务列表中，单击待停止Spark任务所在行的“停止”。批量停止Spark任务在Spark任务列表中，勾选待停止Spark任务。单击列表上方的“批量启动”。部署更新Spark任务在Spark任务列表中，单击待更新部署Spark任务所在行的“部署更新”。从资源中心部署文件在Spark任务列表中，单击待部署Spark任务所在行的“从资源中心部署文件”。查看日志在Spark任务列表中，单击待查看日志Spark任务所在行的“查看日志”。查看操作历史在Spark任务列表中，单击待查看操作历史的Spark任务所在行的“操作历史”。查看历史版本信息在Spark任务列表中，单击待查看历史版本信息的Spark任务所在行的“历史版本信息”。（可选）可单击历史版本所在行的“对比当前版本”，查看版本差异。

应用平台 APPSTAGE 运维数据开发

应用平台 APPSTAGE-Druid数据管理:创建提取任务

创建提取任务在Druid页面列表中，单击待编辑任务的Druid数据源所在行的“编辑任务”，进入该数据源提取任务页面。单击“创建任务”，进入“创建任务”页面。配置任务参数，参数说明如表2所示。配置完成后，单击“确定”。表2 配置任务参数说明参数名称参数说明名称 Druid提取任务名，默认与数据源同名，无需手动填写。描述输入描述信息。调度集成定时执行Druid提取任务的调度集群。 Kafka Topic 选择需要消费数据的kafka topic。使用最早offset消费首次提交的任务设置为false，补数据时配置为true。任务数需要多少个并发进程同时读取该druid任务所对应的kafka topic，任务数（默认为2）应该小于topic分区数，并且能被topic分区数所整除，这样每个druid的子任务可以读取相同的数据量，达到负载均衡的效果。指标列表该指标列表由创建数据源时选择的指标决定，如果指标与对应的kafka字段名一致，会自动填充，如果不一致，需手动添加映射。任务配置完成后，在Druid页面列表中，单击已编辑的任务的Druid数据源所在行的“启动”，启动导流任务。在数据源生命周期内，Druid集群会持续提取Kafka数据到Druid数据源中。

应用平台 APPSTAGE 运维数据开发

应用平台 APPSTAGE-Druid数据管理:更多操作

更多操作您还可以对Druid进行以下操作。表3 Druid管理操作名称操作步骤导入在Druid页面单击“导入”。上传文件。查看导入进度在Druid页面单击“查看导入进度”。导出在Druid页面列表中，勾选需要导出的Druid数据源。单击列表上方的“导出”。编辑Tags 在Druid页面单击“编辑Tags”。在“编辑Tags”页面单击“新建Tags”。输入Tags并单击“保存”。单击“确定”。关联Tags 在Druid页面列表中，单击待关联Tags数据源所在行的“关联Tags”。选择已新建的Tags。单击“确定”。说明：关联Tags之前须先编辑并新建Tags。编辑数据源在Druid页面列表中，单击待编辑Druid数据源所在行的“编辑”。删除数据源在Druid页面列表中，单击待删除Druid数据源所在行的“删除”。查看操作历史在Druid页面列表中，单击待查看操作历史的Druid数据源所在行的“操作历史”。查看历史版本信息在Druid页面列表中，单击待查看历史版本信息的Druid数据源所在行的“历史版本信息”。（可选）可单击历史版本所在行的“对比当前版本”，查看版本差异。

应用平台 APPSTAGE 运维数据开发

应用平台 APPSTAGE-CSS数据管理:更多操作

更多操作您还可以对CSS进行以下操作。表2 CSS管理操作名称操作步骤导入在CSS页面单击“导入”。上传文件。查看导入进度在CSS页面单击“查看导入进度”。导出在CSS页面列表中，勾选需要导出的CSS索引。单击列表上方的“导出”。编辑Tags 在CSS页面单击“编辑Tags”。在“编辑Tags”页面单击“新建Tags”。输入Tags并单击“保存”。单击“确定”。关联Tags 编辑并新建Tags后，在CSS页面列表中，单击待关联Tags索引所在行的“关联Tags”。选择已新建的Tags。单击“确定”。查看索引状态在CSS页面列表中，单击待查看状态的CSS索引所在行的“索引状态”。编辑索引在CSS页面列表中，单击待编辑CSS索引所在行的“编辑”。删除索引在CSS页面列表中，单击待删除CSS索引所在行的“删除”。查看操作历史在CSS页面列表中，单击待查看操作历史的CSS索引所在行的“操作历史”。查看历史版本信息在CSS页面列表中，单击待查看历史版本信息的CSS索引所在行的“历史版本信息”。（可选）可单击历史版本所在行的“对比当前版本”，查看版本差异。

应用平台 APPSTAGE 运维数据开发

应用平台 APPSTAGE-运维数据开发概述

运维数据开发概述监控服务提供对运维数据进行处理的能力，请参见表1。表1 运维数据开发功能说明功能数据类型说明数据管理 Kafka 按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。 HDFS 分布式文件系统，用于离线日志接入原始数据存储。 Hive 可实现大规模分析的分布式容错数据仓库系统，用于离线日志接入处理后的数据存储。 MPPDB Shared Nothing架构的分布式并行结构化数据库集群，用于离线日志接入处理后的数据及实时日志接入汇聚后的数据的长期存储。 ClickHouse 面向联机分析处理的列式数据库，用于日志接入原始数据存储和汇聚后的数据存储及原始日志检索。 Druid 分布式的、支持实时多维OLAP分析、列式存储的数据处理系统，用于汇聚数据的短期存储及快速查询。 CSS CSS是一个基于Apache Lucene(TM)的开源搜索引擎，用于原始日志存储及日志检索。 Influxdb 专门处理高写入和查询负载的时序数据库，用于存储大规模的时序数据并进行实时分析。 Prometheus 开源的系统监控和警报工具，用于主机监控。 OBS 对象存储，用于原始日志存储。 CES 将CES上收集的云服务内置监控指标数据采集到Kafka中。离线开发 Batch Task 离线任务，用于处理离线接入的数据。数据汇聚 Druid汇聚用于将Druid的数据汇聚到MPPDB中。 MPPDB汇聚用于将MPPDB的数据汇聚到MPPDB中。 ClickHouse汇聚用于将ClickHouse的数据汇聚到MPPDB中。 Influxdb汇聚用于将Influxdb的数据汇聚到MPPDB中。数据开放 - 提供令牌管理功能，可以通过令牌完成数据源的鉴权，获取数据使用权限。数据治理 - 提供指标、视图、标签等功能，方便使用数据。父主题：运维数据开发

应用平台 APPSTAGE 运维数据开发

应用平台 APPSTAGE-运维数据开发概述

运维数据开发概述监控服务提供对运维数据进行处理的能力，请参见表1。表1 运维数据开发功能说明功能数据类型说明数据管理 Kafka 按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。 HDFS 分布式文件系统，用于离线日志接入原始数据存储。 Hive 可实现大规模分析的分布式容错数据仓库系统，用于离线日志接入处理后的数据存储。 MPPDB Shared Nothing架构的分布式并行结构化数据库集群，用于离线日志接入处理后的数据及实时日志接入汇聚后的数据的长期存储。 ClickHouse 面向联机分析处理的列式数据库，用于日志接入原始数据存储和汇聚后的数据存储及原始日志检索。 Druid 分布式的、支持实时多维OLAP分析、列式存储的数据处理系统，用于汇聚数据的短期存储及快速查询。 CSS CSS是一个基于Apache Lucene(TM)的开源搜索引擎，用于原始日志存储及日志检索。 Influxdb 专门处理高写入和查询负载的时序数据库，用于存储大规模的时序数据并进行实时分析。 Prometheus 开源的系统监控和警报工具，用于主机监控。 OBS 对象存储，用于原始日志存储。 CES 将CES上收集的云服务内置监控指标数据采集到Kafka中。离线开发 Batch Task 离线任务，用于处理离线接入的数据。数据汇聚 Druid汇聚用于将Druid的数据汇聚到MPPDB中。 MPPDB汇聚用于将MPPDB的数据汇聚到MPPDB中。 ClickHouse汇聚用于将ClickHouse的数据汇聚到MPPDB中。 Influxdb汇聚用于将Influxdb的数据汇聚到MPPDB中。数据开放 - 提供令牌管理功能，可以通过令牌完成数据源的鉴权，获取数据使用权限。数据治理 - 提供指标、视图、标签等功能，方便使用数据。父主题：运维数据开发

应用平台 APPSTAGE 运维数据开发

云服务器内容精选

运维数据开发

7*24

备案

专业服务

退订

建议反馈

售前咨询热线