检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。 如果不手动配置TaskManage
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮
选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台,在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业,单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标,用户可以依据自身需求使用不同的监控指标定义告警规则,实现更细粒度的作业监控。
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标,AOM Prometheus支持免费存储基础指标。 除基础指标外,AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标 监控指标 指标含义
DLI对接AOM Prometheus监控的配置项 在配置DLI对接AOM Prometheus监控时,系统会自动完成DLI对接AOM Prometheus监控的配置项中的参数配置。如果这些默认配置不满足您的需求,您可以在Flink作业的“自定义配置”中手动配置以下参数,且优先以您的配置为准。
Prometheus监控 AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。它支持多种类型的组件监控,提供预置监控大盘和全面托管的Prometheus服务,通过Prometheus监控来统一采集、存储和显示监控对象的数据,适用于时间
怎样监控DLI队列上的作业异常? DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: DLI弹性资源池和队列类
如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3 查看队列负载 父主题: DLI弹性资源池和队列类
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
积压。 解决方案 可以通过“云监控服务 CES”来查看DLI队列中不同状态的作业情况,具体操作步骤如下: 在控制台搜索“云监控服务 CES”,进入云监控服务控制台。 在左侧导航栏选择“云服务监控 > 数据湖探索”,进入到云服务监控页面。 在云服务监控页面,“名称”列对应队列名称,单击对应队列名称,进入到队列监控页面。
查询作业监控信息(废弃) 功能介绍 该API用于查询作业监控信息, 支持同时查询多个作业的监控信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/metrics
图1 作业监控 Flink 作业包含如下监控指标。 表4 Flink作业监控指标 指标名称 说明 Flink作业数据输入速率 展示用户Flink作业的数据输入速率,供监控和调试使用。单位:条/秒。 Flink作业数据输出速率 展示用户Flink作业的数据输出速率,供监控和调试使用。单位:条/秒。
弹性资源池队列 创建弹性资源池后,您可以在弹性资源池中创建多个队列,队列关联到具体的作业和数据处理任务,是资源池中资源被实际使用和分配的基本单元,即队列是执行作业所需的具体的计算资源。 同一弹性资源池中,队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。
的正常执行。 作业资源的占用情况请参考怎样查看作业所需的资源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。
面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。
可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功能将Flink作业的输出数据写入到OpenTSDB中。
monitor-interval'='' ); 参数说明 目录监控 默认情况下,文件系统连接器是有界的,也就是只会扫描配置路径一遍后就会停止。 如果需要,可以通过设置 source.monitor-interval 属性来开启目录监控,以便在新文件出现时继续扫描。 键 默认值 类型 描述
一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。 队列剩余CU量=队列CU量 - 队列CU使用量。 当队列剩余CU量小
OpenSource SQL1.12语法。 CU数量 CU数量为DLI的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。 当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。 管理单元 管理单元CU数量。 并行数 并行数是指同时运行Flink OpenSource