检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
稳定性提升。 仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台,支持对接华为云SMN告警系统,用户可通过邮件、短信、电话、第三方办公工具(webhook模式) 支持对接企业内部统一监控告警系统(prometheus)。 支持Flink作业速率、
查看Flink作业监控 用户可以通过云监控服务(CES)查看作业数据输入输出的详细信息。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 单击页面右上角的“作业监控”,将跳转至云监控服务(CES)。
中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。 本示例通过创建PostgreSQL CDC源表来监控Postgres的数据变化,并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS Postgres实例。本示例创建的RDS Postgres数据库版本选择为:11。
据同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化,并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例。本示例创建的RDS MySQL数据库版本选择为:8
开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户
Spark、Apache Flink、HetuEngine生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取
选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台,在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业,单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标,用户可以依据自身需求使用不同的监控指标定义告警规则,实现更细粒度的作业监控。
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
的VPC Administrator权限。可在服务授权中进行设置。 发布区域:全部 创建增强型跨源连接 OBS 2.0支持 DLI自定义委托 跨源分析场景,DLI需具备访问其他云服务的委托权限,即允许DLI在其他云服务中代表用户或服务执行操作,才能够在执行作业时读写数据、执行特定操作。
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况? 怎样判断当前DLI队列中的作业是否有积压? 怎样查看DLI队列负载? 怎样监控DLI队列上的作业异常? 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败,提示超时异常怎么办?
AMING读取将持续监控表,并在新数据可用时以增量方式获取新数据。默认情况下,Flink会读取有界的表。 STREAMING读取支持同时使用分区表和非分区表。对于分区表,Flink将监控新分区的生成,并在可用时增量读取它们。对于未分区的表,Flink 会监控文件夹中新文件的生成情况,并增量读取新文件。
视图相关 创建视图 删除视图
的正常执行。 作业资源的占用情况请参考怎样查看作业所需的资源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。
System.out.println(result); } 查询作业监控信息 DLI提供查询Flink作业监控信息的接口。您可以使用该接口查询作业监控信息,支持同时查询多个作业监控信息。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11
给新用户设置数据库权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。
关注 点击 - 步骤1:上传数据 将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS
API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导出Flink作业、导入Flink作业、生成Flink
况,以SMN的方式通知用户。 勾选后需配置下列参数: “SMN主题”: 选择一个自定义的SMN主题。如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 异常自动重启 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 勾选后需配置下列参数: “
不同表类型表示不同的数据存储位置。 OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。 CloudTable表表示数据储存在CloudTable服务的表中。 可通过DLI创建表,与其他服务的数据进行关联,以此来实现不同数据源的联合查询分析。 元数据