检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大,后期需要更改Kafka区分数
准备DIS Flink Connector的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector
Flink Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(
Flink Job Pipeline样例程序(Scala) 发送消息 下面代码片段仅为演示,完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.Information: package com.huawei.bigdata.flink.examples
Flink Opensource SQL1.15语法参考 SQL语法约束与定义 Flink OpenSource SQL1.15语法概览 Flink OpenSource SQL 1.15版本使用说明 Format Connector列表 数据操作语句DML 函数
Flink Opensource SQL1.12语法参考 SQL语法约束与定义 Flink OpenSource SQL1.12语法概览 数据定义语句DDL 数据操作语句DML 函数
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录
Hadoop jar包冲突,导致Flink提交失败 问题现象 Flink 提交失败,异常为: Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider
ALM-45636 Flink作业连续checkpoint失败 本章节仅适用于MRS 3.1.2及至MRS 3.3.0版本。 告警解释 系统以用户配置的告警周期检查Checkpoint连续失败次数,如果Flink作业Checkpoint连续失败次数达到用户配置的阈值,则发送告警。当
ALM-45653 Flink HA证书文件失效 本章节适用于MRS 3.3.0及以后版本。 告警解释 Flink首次或者每天01:00:00开始健康检查时,检查当前系统中的HA证书文件是否失效(证书是否存在,证书格式是否正确),如果证书文件失效,产生该告警。证书文件恢复,告警恢复
开发准备术语租户管理员:每个公司实体即为一个租户,支持分配多个成员成为租户管理员,具备用户管理、数据运营、应用管理等各种设置的高级权限;开发者:企业内部成员默认为开发者,即任意成员可登录开放平台开发We码小程序;应用责任人:创建We码小程序的开发者即默认为应用责任人,具备开发、调试
跨库操作dblink和postgres_fdw 插件介绍: 使用dblink和postgres_fdw可以实现跨库操作其他PostgreSQL库。 系统要求 PostgreSQL 9.5+ 与要连接的其他PostgreSQL网络连通 dblink 1、新建dblink插件。
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该
Flink应用性能调优建议 配置内存 Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的YARN的Container
Flink OpenSource SQL1.10语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建源表相关语法 表1 创建源表相关语法 语法分类 功能描述 创建源表 Kafka源表 DIS源表
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal
Flink Opensource SQL1.10语法参考 SQL语法约束与定义 Flink OpenSource SQL1.10语法概览 数据定义语句DDL 数据操作语句DML 函数
Flink OpenSource SQL1.12语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS