检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RichParallelSourceFunction<Row>{}，重点实现其中的open、run、close和cancel函数。实现完成后将该类编译打在jar中，通过sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下： <dependency> <groupId>org.apache.flink</groupId>
Driver String jdbc连接驱动，默认为: org.postgresql.Driver。 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。 使用gsjdbc200驱动连接时，加载的数据库驱动类为：com.huawei.gauss200
击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 数据结果参考如下： +I(202103241000000001,webShop,2021-03-2410:00:00
否 每次从数据库拉取数据的行数。默认值为0，表示忽略该提示 示例 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。该驱动为默认，创建表时可以不填该驱动参数。 表car_info没有在schema下时。 1 2 3 4 5 6
“2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf jar通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择
Driver String jdbc连接驱动，默认为: org.postgresql.Driver。 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。 使用gsjdbc200驱动连接时，加载的数据库驱动类为：com.huawei.gauss200
DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？ DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。
OpenSource作业：DLI提供了标准的连接器（connectors）和丰富的API，便于快速与其他数据系统的集成。 · Flink Jar作业：允许用户提交编译为Jar包的Flink作业，提供了更大的灵活性和自定义能力。适合需要自定义函数、UDF（用户定义函数）或特定库集成的复杂数据处理场景
所提交Flink作业的名称。 类型 所提交Flink作业的类型。包括： Flink SQL：Flink SQL作业 Flink Jar：Flink Jar作业 Flink OpenSource SQL：Flink OpenSource SQL作业 状态 作业的状态信息。具体状态信息以控制台为准。
e> </dependency> 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作
name("jar-job"); body.cuNumber(2); body.managerCuNumber(1); body.parallelNumber(1); body.entrypoint("dli/WindowJoin.jar");
是否对string类型值进行转义，默认为false。 注意事项 无 示例 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。该驱动为默认，创建表时可以不填该驱动参数。 使用upsert模式，写入数据到DWS 1 2 3 4 5 6
创建Flink jar作业 jobs createStreamJarJob 更新Flink jar作业 jobs updateStreamJarJob 查看flink作业 jobs checkStreamJob 导入保存点 jobs dealSavepoint 购买cu时套餐包 order
资源包在队列中的名字。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”，表示不使用异步方式。推荐使用异步方式上传资源包。 请求示例 从OBS上传jar包至DLI，并定义分组名称为gatk。 { "paths": [
scope。 单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后点击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作
enable=true flink.dli.job.priority=x 图1 Flink Opensource SQL作业配置样例 设置Flink Jar作业优先级 在“优化参数”中配置如下参数，其中x为优先级取值。 flink.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理
路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。 程序包使用约束限制 表6 程序包使用约束限制 限制项 说明 程序包 程序包支持删除，但不支持删除程序包组。 支持上传的程序包类型： JAR：用户jar文件。 PyFile：用户Python文件。 File：用户文件。 ModelFile：用户AI模型文件。
egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角“创建”可创建程序包。 在“创建程序包”对话框，配置如下参数： 包类型：PyFile。
<scope>provided</scope> </dependency> 实现完成后将该类编译打包在Jar中，通过Flink OpenSource SQL作业编辑页的UDF Jar参数上传。具体Flink OpenSource SQL作业创建指导可以参考https://support
Spark datasource API语法参考 Spark jar作业提交方式请参考在DLI使用Hudi提交Spark Jar作业 API语法说明 Hudi锁配置说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
