检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台，创建Flink
并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖。 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
userDefined结果表 功能描述 您可通过编写代码实现将DLI处理之后的数据写入到指定的云生态或者开源生态。 前提条件 已编写代码实现自定义sink类： 自定义sink类需要继承Flink开源类：RichSinkFunction，并指定数据类型为：Tuple2<Boolean, Row>。 例如开发自定义类MySink：public
单击“自定义配置”。 在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容。
not Found 问题现象 执行SQL作业访问报错：File not Found。 可能原因 可能由于文件路径错误或文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确，包括目录名称和文件名。 文件被占用 文件被占用导
DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题： Flink Opensource SQL1.15语法参考
ROW FROM TABLENAME 语法说明 表4 参数说明 参数 参数说明 PARTITION BY 指定分组的主键，每个分组各自进行计算。 ORDER BY 指定数据按processing time或event time作为时间戳。 ROWS 个数窗口。 RANGE 时间窗口。
partition 指定的时间戳开始，时间戳通过scan.startup.timestamp-millis指定。 specific-offsets：从用户为每个 partition 指定的偏移量开始，位点通过scan.startup.specific-offsets指定。 scan.startup
量，确保作业高效运行，同时提高资源的利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止
OBS上的桶名称。该桶用于存放Spark程序中使用的jar包、Python程序文件、配置文件等。 obsPath 是 dli-spark-submit-resources OBS上存放jar包、Python程序文件、配置文件等的目录，该目录在bucketName指定的桶下。如果该目录不存在，程序会自动创建。 localFilePath
OpenSource SQL作业从Kafka读取数据写入到Elasticsearch的开发示例。 从MySQL CDC源表读取数据写入到DWS 介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。 从PostgreSQL CDC源表读取数据写入到DWS
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
timestamp=20201227153030 // 指定初始增量拉取commit hoodie.tableName.consume.end.timestamp=20210308212318 // 指定增量拉取结束commit，如果不指定的话采用最新的commit 随后执行SQL select
取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction，并指定数据类型为Row。 例如自定义类MySource：public class MySource extends RichParallelSo
配置项为OPTIONS('DELIMITER'=',')时，可以指定分隔符，默认值为“,”。 对于CSV数据，支持如下所述分隔符： 制表符tab，例如：'DELIMITER'='\t'。 支持通过unicode编码指定分割符，例如：'DELIMITER'='\u0001'。 单引号（'），单引号必须在双引号（"
keytab String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。 keystore_location String keystore配置文件obs路径。 owner String 所属用户名。 请求示例
keytab String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。 keystore_location String keystore配置文件obs路径。 owner String 所属用户名。 请求示例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
