检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
数据开发 使用AIOps体系和相配套的工具实施业务运维数仓系统的开发。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 步骤一:创建逻辑主体 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。 如需使用其他数
用,是一个广义的Serverless平台,提供容器级别的完全托管的能力,目标是让业务看不到云。管理平台标准化业务的部署形式,业务只需要提供软件包,NUWA Runtime借助底层的弹性伸缩平台完成网络配置、双云集群部署、日志自动收集、灰度多阶段升级等。 负载均衡 负载均衡(Software/Server
数据汇聚 当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。 FileBeat采集端汇聚 采集端汇聚是在采集端清洗的基础上实现的,针对资源受限而日志总量大,单节点流量可控,需要优先保证统计分析数据正常上报的场景,前置汇聚可以很明显的缓解统计分析告警延迟的问题,同样可以更进一步节省整体资源占用。
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
judge日志大小1KB,且不刷新日志内容 问题现象 judge日志大小1KB,且不刷新日志内容。 可能原因 告警原始表中存在字段值和字段类型不一致,导致解析失败。 解决方法 检查告警原始表中的数据是否有异常数据。 例如:数值类型的字段,值为NAN,可能是没有做除数为0的保护,修复异常,清理元数据,补数据后重新训练。
Terraform Terraform是HashiCorp公司开发的基础设施即代码(Infrastructure-as-Code,IaC)软件,它能自动化的进行资源编排,用于安全高效地预览、配置和管理云基础架构和资源,并提供自定义解决方案。 监控 是采集、汇总和分析IT基础设施、
开发业务代码 准备工作 已下载并安装Maven,根据以下步骤配置Maven。 在<localRepository>标签内添加自己的本地仓库位置路径,这个本地仓库位置是自己创建的。 D:\apache-maven-3.8.6-bin\repository <localReposit
准备工作 开发技能要求 熟悉Java语言,能够编写Java语言代码。 掌握IaC开发技术,熟悉YAML语言。 了解Spring Cloud框架。 环境准备 已下载并安装Maven,根据以下步骤配置Maven。 在<localRepository>标签内添加自己的本地仓库位置路径,这个本地仓库位置是自己创建的。
在开发中心左上角单击,在菜单列表中选择“开发插件库”,进入“开发插件库”页面。 单击相应插件卡片右下角的“查看详情”,获取相应开发工具、插件、软件包或详情信息。 单击相应插件卡片右下角的“下载”,下载插件到本地。 仅支持下载在“插件管理”页面上传的支持下载的插件。
查看运维数据的数据血缘 监控服务支持查看运维数据的数据血缘、关系及数量等信息。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 查看数据血缘 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。
订阅BaaS服务已共享指标 服务想要获取BaaS服务的横向数据,比如说音乐或视频业务想实时查看SLB、ELB的指标监控,可以通过指标共享的方式获取指标,支持按照标签或指标级进行共享。 BaaS服务数据开发人员创建并共享指标后,服务运维和开发人员在标签查询中可以按标签查询指标的定义,服务无指标编辑权限。
下载代码到本地 开发人员进行代码文件的操作前,需要使用Git Bash客户端和TortoiseGit客户端下载代码仓库文件到本地环境中。 前提条件 操作前应确保您的网络可以访问CodeArts的代码托管服务,请参考验证网络连通性。 使用SSH协议在Git Bash客户端克隆代码 本节内容指导如何使用Git
为指标关联标签 监控服务支持对指标进行标签管理,对指标的某项特征进行抽象分类和概括。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 新增标签 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
为指标创建视图 创建数据视图,后续可以使用视图进行数据业务报表开发、告警配置等运维监控。 如果需要在大盘监控单个指标的报表(如折线型报表),可以创建单指标查询视图。 如果需要在大盘同时监控多个指标(如表格型报表),可以创建多指标组合查询视图。 持久化视图(自定义汇聚粒度)、长期存
监控报表开发 监控服务支持对已创建的指标或视图数据进行业务报表开发。 前提条件 已完成指标开发。 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 操作步骤 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。 开启数据采
新建数据接入将源端数据迁移到运营中心 运营中心提供OBS数据接入、MySql数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。