正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考Kafka和Print创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
参考Kafka源表和Print结果表创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。 使用CTS审计DLI服务
不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。 使用CTS审计DLI服务
Flink作业 DLI Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景,支持与多种云服务跨源连通,形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业:DLI提供了标准的连接器(connectors)和丰富的API,便于快速与其他数据系统的集成。
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
使用咨询 删除队列会导致数据库中的表数据丢失吗? 队列异常时,DLI怎么保证Spark作业的可靠性? DLI如何进行队列异常监控? 父主题: 队列相关问题
云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。 与云监控服务(CES)的关系 云监控(Cloud Eye)为DLI提供监控数据,监控作业中的多项指标,从而集中高效地呈现状态信息。 具体指标请参考《数据湖探索监控指标说明》。 与消息通知服务(SMN)的关系 消息通知服务(Simple
以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。 1 SHOW PARTITIONS student; 查看student表中dt='2010-10-10'的分区。 1 SHOW
以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。 1 SHOW PARTITIONS student; 查看student表中dt='2010-10-10'的分区。 1 SHOW
运维指导 查看DLI队列负载 如何判断当前DLI队列中的作业是否有积压? 如何将老版本的Spark队列切换成通用型队列 为什么云监控CES服务看不到DLI队列的资源运行情况? 购买了64CU的队列资源,运行Spark作业时如何分配? 创建扩容任务时 ,提示Queue plans create
显示某个用户在resource上已经授予的权限。 语法格式 1 SHOW GRANT USER user_name ON resource; 关键字 USER:限定后面的user_name是一个用户。 注意事项 resource可以是queue、database、table、column、view,格式分别为:
显示某个用户在resource上已经授予的权限。 语法格式 1 SHOW GRANT USER user_name ON resource; 关键字 USER:限定后面的user_name是一个用户。 注意事项 resource可以是queue、database、table、column、view,格式分别为:
OpenSource SQL1.12语法概览 Flink OpenSource SQL1.10语法概览 Flink SQL语法概览 运维与监控 查看审计日志 查看监控指标 06 开发 您可以使用客户端或第三方BI工具对接DLI,以及通过DLI跨源连接进行数据分析。 客户端工具操作指导 使用Spark-submit提交作业
的正常执行。 作业资源的占用情况请参考怎样查看作业所需的资源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。
System.out.println(result); } 查询作业监控信息 DLI提供查询Flink作业监控信息的接口。您可以使用该接口查询作业监控信息,支持同时查询多个作业监控信息。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11
AMING读取将持续监控表,并在新数据可用时以增量方式获取新数据。默认情况下,Flink会读取有界的表。 STREAMING读取支持同时使用分区表和非分区表。对于分区表,Flink将监控新分区的生成,并在可用时增量读取它们。对于未分区的表,Flink 会监控文件夹中新文件的生成情况,并增量读取新文件。
conv conv函数用于进制转换,将from_base进制下的num转化为to_base进制下面的数。 命令格式 conv(BIGINT num, INT from_base, INT to_base) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 num 是 DO
conv conv函数用于进制转换,将from_base进制下的num转化为to_base进制下面的数。 命令格式 conv(BIGINT num, INT from_base, INT to_base) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 num 是 DO