检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI 队列与公网网络联通 操作场景 本节操作为您提供DLI队列在公网访问场景下网络打通的方法。通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 操作流程 图1 配置DLI队列访问公网流程 步骤1：创建VPC 登录虚拟私有云控制台，创建虚拟私有云。创建的VPC供NAT访问公网使用。
击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”，完成导入作业。
南》。 前提条件 请务必确保您的账户下已在分布式缓存服务（DCS）里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例，请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。
请务必确保您的账户下已在关系型数据库（RDS）里创建了PostgreSQL或MySQL类型的RDS实例。 如何创建RDS实例，请参见《关系型数据库快速入门》中“购买实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与RDS实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如
操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。 主要参数的填写说明： 包类型：File OBS路径：clinet
开启微批模式，避免状态频繁操作 配置参数： table.exec.mini-batch.enabled=true table.exec.mini-batch.allow-latency=xx table.exec.mini-batch.size=xx 使用超高IO本地盘规格机型，加速磁盘操作 group
请务必确保您的账户下已在关系型数据库（RDS）里创建了PostgreSQL或MySQL类型的RDS实例。 如何创建RDS实例，请参见《关系型数据库快速入门》中“购买实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与RDS实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如
南》。 前提条件 请务必确保您的账户下已在分布式缓存服务（DCS）里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例，请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。
购买Kafka实例”配置相关参数。实例信息如下： 计费模式：按需付费 区域：选择与DLI服务相同的区域 项目：默认 可用区：默认 实例名称：kafka-dliflink 规格类型：默认 企业项目：default 版本：默认 CPU架构：默认 代理规格：选择对应的规格 代理数量：默认
在DLI控制台配置表权限 表权限操作场景 针对不同用户，可以通过权限设置分配不同的表权限。 管理员用户和表的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其表权限。 给新用户设置表权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant G
配置DLI与数据源网络连通（增强型跨源连接） 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题： 配置DLI读写外部数据源数据
pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 数据类型映射 表1 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT
pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 数据类型映射 表1 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT
Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败： Caused by: org.apache.kafka.common.errors.NetworkException:
type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取
type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取
性资源池添加的队列的操作界面。 首先配置弹性资源池队列的基本信息，具体参数参考如下。 名称：添加的队列的名称。 类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL和Trino作业。 通用队列类型：用于运行Flink和Spark Jar作业。
'PostgresTableName' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型，需配置为'postgres-cdc'。 hostname 是 无 String Postgres数据库的IP地址或者Hostname。
'PostgresTableName' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型，需配置为'postgres-cdc'。 hostname 是 无 String Postgres数据库的IP地址或者Hostname。
truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。 CSS安全集群参数配置 具体参数请参考表1，这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es.net.http.auth.user", "admin")
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
