检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
汇聚任务汇聚 应用平台支持多种数据类型的汇聚,具体操作请参见将数据汇聚至MPPDB表。 父主题: 基于运维数仓的数据开发与应用
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
创建数据标注 在AI原生应用引擎的左侧导航栏选择“知识中心 > 微调数据集”。 在“微调数据集”页面,单击右上角“创建数据标注”。 在“创建数据标注”对话框,选择微调数据集、数据集版本,填写标注名称。 单击“确定”。新创建的标注数据集显示在列表中,继续执行标注数据集。
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。
汇聚数据至MPPDB表 数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务,以实现对采集指标的汇聚处理,从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。
新建数据接入将源端数据迁移到运营中心 运营中心提供OBS数据接入、MySql数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
数据表 - 单击“新增”,选择逻辑主体使用的数据表。 选择数据表时需要设置“将所有字段添加至逻辑主体”,如果设置为是,会同步将数据表字段添加到字段列表中;设置为否,列表显示已添加的字段,需要在“数据表字段”列选择数据表字段,将逻辑主体字段与数据表字段关联起来。
导流数据至数据表 监控服务已接入的数据,会保存在已创建或者系统自动创建的Kafka的Topic中,需要创建导流任务,将数据导流至ClickHouse或Influxdb数据表中。 将数据导流至ClickHouse/Influxdb表 进入AppStage运维中心。
选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。 单击“数据治理 > 数据血缘”,在数据血缘页面查看具有数据血缘、关系及数量等信息。 父主题: 开发并管理数据
在运营中心创建数据模型 运营中心提供数据建模能力,运营人员可以新建数据模型,也可以通过逆向数据库生成数据模型。通过提供多表关联建模整合表能力,一个数据模型可以映射多个数据表数据。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
在数据集列表中单击数据集名称,在微调数据集详情页面查看数据概况、调度历史,并支持对数据集进行溯源。 修改数据集 在“微调数据集”页面选择“我创建的”页签。 在数据集列表勾选数据集并单击“操作”列的“修改”。 在“修改数据集”页面,仅支持修改数据集描述、修改标签名称。
数据连接器 数据连接器是工作流的基础节点之一,包含“json解析”和“cdm解析”两个执行动作。 数据解析连接器用于解析接收到的一个对象或者数组,以获取到用户想要的数据。 json解析 输入参数 json解析执行动作,输入参数说明如表1所示。
开发并管理数据 创建数据表 导流数据至数据表 汇聚数据至MPPDB表 查看运维数据的数据血缘 父主题: 监控资源和应用
通过看板查看运营数据 产品运营人员能直观查看关键数据,分析产品运营过程中取得的成效和潜在问题。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。 操作步骤 登录AppStage业务控制台。 在快捷入口选择“运营中心”,进入运营中心。
创建数据表 使用监控服务进行数据开发与管理时,需要先创建数据表,将接入的数据存储至数据表中。 创建MPPDB表 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。
在WiseDBA中采集数据库元数据 在WiseDBA中诊断数据库 父主题: 管理已纳管资源