检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数：
ClickHouseBalancer实例业务IP2:ClickHouseBalancer端口/数据库名 ClickHouseBalancer实例的IP地址： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse > 实例”，获取ClickHouseBalancer实例的业务IP。
NULL 当前记录表在数据库中更新的时间。 如果从表的快照而不是 binlog 读取记录，该值将始终为0。 数据类型映射 表4 数据类型映射 MySQL类型 Flink SQL类型 备注 TINYINT TINYINT - SMALLINT TINYINT UNSIGNED TINYINT
Hudi Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发）
自定义镜像：选择镜像名称和镜像版本。用户可在“容器镜像服务”设置的镜像。具体操作请参考使用自定义镜像增强作业运行环境。 Flink版本 先选择所属的队列再选择Flink版本。 说明： 不建议长期混用不同版本的Flink引擎。 长期混用不同版本的Flink引擎会导致代码在新旧版本之间不兼容，影响作业的执行效率。
本例以配置RDS实例访问凭据为例，介绍在DEW保存凭据，并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”，配置凭据基本信息 凭据名称：待创建凭据的名称。本例名称为secretInfo。 凭据值：配置RDS实例的用户名和密码。
字符串列表。 语法说明 string_split(target, separator) 表1 string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明： 如果target为NULL，则返回一个空行。 如果target包含两个或
字符串列表。 语法说明 string_split(target, separator) 表1 string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明： 如果target为NULL，则返回一个空行。 如果target包含两个或
说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
KafkaMessageStreaming Flink版本 是 选择作业运行时所使用的Flink的版本。 本例选择使用Flink1.15版本时请在作业中配置允许DLI访问的云服务的委托信息。 委托 否 选择Flink1.15版本时需要用户自行配置委托，否则可能影响作业运行。 Flink
容一部分规格的情况。 因资源规格不同可能有不同的缩容步长，通常是16CUs、32CUs、48CUs、64CUs等。 示例：队列大小为48CUs，执行作业占用了18CUs，剩余30CUs不满足该32CUs步长缩容的要求，如果执行缩容任务，则缩容失败。 弹性扩容 当前队列规格不满足业
操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。 主要参数的填写说明： 包类型：File OBS路径：clinet
如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 下载JDK。 从Oracle官网下载并安装JDK1
弹性资源池名称不区分大小写，系统会自动转换为小写。 类型 基础版：提供16-64CUs规格的资源 适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。 不支持高可靠与高可用。 不支持设置队列属性和作业优先级。 不支持对接Notebook实例。 标准版：提供64CUs及以上规格的资源 具备强大的计算
类型转换函数 表1 类型转换函数 SQL函数 描述 CAST(value AS type) 返回被强制转换为类型 type 的新值。 例如 CAST('42' AS INT) 返回 42； CAST(NULL AS VARCHAR) 返回 VARCHAR 类型的 NULL。 TYPEOF(input)
kup.cache.caching-missing-key设置为false来切换行为。 数据类型映射 表3 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT UNSIGNED SMALLINT
DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。 CSS类型跨源认证：适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。 Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka。
如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 下载JDK。 从Oracle官网下载并安装JDK1
X86 鲲鹏 规格 队列规格指的是计算节点所有CU数的总和，1CU=1核4GB。DLI系统会自动分配各计算节点的内存和CPU大小，具体计算节点个数客户端不感知。 选择“包年/包月”计费模式时，可选择“固定规格”，也可以“自定义规格”。“按需计费”只支持选择固定规格。 请按需选择队
'table-name' = 'mysqlTableName' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型，需配置为'mysql-cdc'。 hostname 是 无 String MySQL数据库的IP地址或者Hostname。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
