检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多少天的数据。默认是7天,可以适当减少,不建议超过该值。若要长期存储,建议汇聚到DWS中。 分区粒度(day) 默认为天级分区粒度,即每天的数据都会被单独存储和查询。 从Kafka Topic获取数据结构 在选择框选择Topic并单击“获取数据结构”,可以获取Topic的数据结构。
基于运维数仓的数据开发与应用 方案概述 数据接入 数据导流 数据汇聚 数据开发 数据应用
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
设置汇聚任务执行时选择之前的时间段。 例如汇聚时间提前1小时,每次查询的时间范围自动往前偏移1小时;当查询范围是小时、天的时候,一般不需要配置;分钟汇聚任务,由于延迟原因,一般都需配置。 结果时间偏移 设置汇聚出的结果存入输出表的时间值。 例如结果时间偏移1小时,每次查询的数据存入MPPD
”为空,需要单击“操作”列的“编辑”,在下拉列表中选择对应的字段,然后单击“保存”。 图3 配置导流任务 导流任务及为空的Kafka字段名配置完成后,单击“确认创建”。 在任务列表中单击已创建的导流任务后的“启动”。 父主题: 基于运维数仓的数据开发与应用
的时代,面临的问题是如何在数据世界中获取到准确且有价值的信息,例如同一个指标在不同的应用场景,哪个才是准确的?这么多数据我的业务监控是否都覆盖了?以及是否有无价值和未合理使用的数据等,因此如何有效管理数据资产成了当前重点关注的问题。 解决方案 本章节介绍如何通过AppStage运
采集端汇聚是在采集端清洗的基础上实现的,针对资源受限而日志总量大,单节点流量可控,需要优先保证统计分析数据正常上报的场景,前置汇聚可以很明显的缓解统计分析告警延迟的问题,同样可以更进一步节省整体资源占用。 采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
在“日志接入”页面,选择左侧导航栏的“集群插件管理”。 在集群列表中单击待安装插件的集群所在行“操作”列的“安装插件”。 在“插件安装”页面配置安装参数,具体内容如下所示,配置完成后,单击“确定”。 输入日志挂载路径:挂载到容器指定挂载点中的容器所在宿主机的文件目录,通常为宿主机上日志文件的hostpa
表4 日志采集配置参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目,相同服务的不同日志使用同一个日志项目。 日志空间 选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式,采集的日志须满足对应格式。 配置名称 自定义日志采集配置名称。 配置类型
动态阈值会通过训练历史数据,实现对数据特征的学习,构建数据的模型。并利用模型来预测数据的趋势走向。如图2黄色部分,实际值和预测值相差过大,认为异常。 图2 动态阈值 异常检测的能力是基于指标仓库,MPPDB数据库及异常检测服务所构建的。指标仓库定义了数据的来源和数据的计算方式。MPPDB数据库用来检测过程中的数据进
返回筛选字段内容不包含输入的值列表中的任意一个的记录列表,类似于not in查询。 = 返回筛选字段内容等于输入的查询值的记录列表,即SQL的=查询。 != 返回筛选字段内容不等于输入的查询值的记录列表,即SQL的!=查询。 in 返回筛选字段内容包含输入的值列表的任意一个的记录列表,即SQL的in查询。
输入模板名称、选择模板类型、输入模板版本,也可为模板添加说明。 单击“已选中插件的具体详情”后的。 在“选择插件”页面单击需选择插件后的或。表示可以选择多次,表示只能选择一次。 关闭“选择插件”页面,在“新建模板”页面可以对已选择的插件参数进行编辑,单击已选插件名称后的,如图1所示。 图1 编辑插件 在“配置参数”
使用数据源的鉴权方式,只有通过对应业务的token的鉴权,才能使用对应数据源。 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)” 选择左侧导航栏的“监控 > 报表开发”。 创建报表。 单击左下角的“设置和帮助
WiseDBA展示的Schema与数据库实例Schema不一致 问题描述 WiseDBA展示的Schema与数据库实例Schema不一致。 解决方法 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“实例管理 > 实例列表”。
在WiseDBA中扩容数据库实例磁盘 实例在使用过程中,随着业务数据的变化,最初申请的存储容量可能会和实际使用量存在偏差,通过扩容磁盘功能,可以变更存储空间,以满足您的业务需求。 使用须知 扩容磁盘预计耗时<30s,程序原则上不会产生中断。 约束与限制 GaussDB(for MySQL)、RDS
在MySQL类数据库中,Database是数据库对象的物理集合,不同的Database之间资源是完全隔离的(除部分共享对象之外)。每个Database都是一个独立的命名空间,用于存储和管理相关的数据库对象,如表、视图、函数等。Schema与Database在概念上非常接近,通常可以认为
创建知识库 知识库是一个组织、存储及管理知识的系统,包括文档、数据库、图表、表格等多种形式的信息的分类、整理和归纳,可以帮助用户组织和管理大量的信息,以便快速访问和使用,平台为用户提供了创建并管理知识库的能力,且创建的知识库启用后可在创建Agent时引用。 前提条件 已创建知识数据集。
memory:sidecar的内存,单位为M Mi G Gi,配置举例:100M 0.5G 2G,配置为null或者”"时,代表使用系统默认值。注意M和Mi的区别,M是1000的倍比,Mi是1024的倍比。 param:sidecar的配置参数,不同sidecar的配置参数不一样,具体可以参考各个sidecar的配置方式。
前切片内容。 单击切片右下方的,在当前切片前增加新的切片。 单击切片右下方的,在当前切片后增加新的切片。 单击切片右下方的,删除当前切片。 生成新的数据集版本 切片编辑完成后,在数据集列表中单击列表前的。 选择“数据集版本”页签,单击数据集版本操作列的“生成新版本”,更新数据集版本。