正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
unix_timestamp unix_timestamp函数用于将日期值转化为数字型的UNIX格式的日期值。 函数返回值将返回正常UNIX格式时间戳前十位。 命令格式 unix_timestamp(string timestamp, string pattern) 参数说明 表1
unix_timestamp unix_timestamp函数用于将日期值转化为数字型的UNIX格式的日期值。 函数返回值将返回正常UNIX格式时间戳前十位。 命令格式 unix_timestamp(string timestamp, string pattern) 参数说明 表1
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标
在SQL作业管理页面,输入对应的job id,找到对应的作业。 在“操作”列中,单击“更多”>“归档日志”>“下载日志到本地”。 图3 归档日志 在所下载的日志中搜索对应jobId,即可查看具体的执行日志。 父主题: 运维指导
作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DLI服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。 DLI的作业日志 在创建DLI作业时,可以在作业编辑页面,通过保存作业日志功能,将作业运行时的日志信息保存到OBS。 查询作业日志信息,参考查看DLI
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。 父主题: 作业运维报错
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮
不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel
查询SQL作业日志 登录DLI管理控制台,单击“作业管理 > SQL作业”。 选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击“更多 > 下载”下载SQL日志到本地。 图3 下载SQL作业日志 父主题: 使用DLI提交SQL作业
信息。 图4 Flink作业运行日志 JobManager和TaskManager信息每分钟刷新一次,默认展示最近一分钟的运行日志。 如果作业配置了保存作业日志的OBS桶,更多历史日志信息可以到保存日志的OBS桶中下载查看。 在OBS中,上传文件的具体方式和要求可以参考《对象存储服务快速入门》>“上传对象”。
Flink作业如何保存作业日志 在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
container_xxx_000001归档日志文件夹示例 Spark Jar作业: Spark Jar作业的归档日志文件夹以“batch”开头。 图4 Spark Jar作业归档日志文件夹名示例 进入归档日志文件目录,在归档日志文件目录下,下载“gc.log.*”日志。 打开已下载的“gc.log.*”日志,搜索“Full
查询作业监控信息(废弃) 功能介绍 该API用于查询作业监控信息, 支持同时查询多个作业的监控信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/metrics
from 否 Integer 起始日志的行号,默认显示最后100行日志。如果日志不足100行,从0行开始显示。 size 否 Integer 查询日志的数量。 type 否 String 当“type”为“driver”时,输出Spark Driver日志。 index 否 Integer
source.monitor-interval 无 Duration 设置新文件的监控时间间隔,并且必须设置 > 0 的值。 每个文件都由其路径唯一标识,一旦发现新文件,就会处理一次。 已处理的文件在 source 的整个生命周期内存储在 state 中,因此,source 的 state
Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下:
一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。 队列剩余CU量=队列CU量 - 队列CU使用量。 当队列剩余CU量小
DLI如何进行队列异常监控? DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: 使用咨询
为什么云监控CES服务看不到DLI队列的资源运行情况? DLI队列在没有作业运行时没有资源和流量的使用,该场景下在CES则不会显示该队列的运行情况。 父主题: 运维指导
积压。 解决方案 可以通过“云监控服务 CES”来查看DLI队列中不同状态的作业情况,具体操作步骤如下: 在控制台搜索“云监控服务 CES”,进入云监控服务控制台。 在左侧导航栏选择“云服务监控 > 数据湖探索”,进入到云服务监控页面。 在云服务监控页面,“名称”列对应队列名称,单击对应队列名称,进入到队列监控页面。