检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs://bucket/checkpoint 编译运行 应用程序开发完成后，参考Flink Jar作业开发基础样例将编译打包的JAR包上传到DLI运行，查看对应OBS路径下是否有相关的数据信息。 父主题： Flink作业开发指南
具体创建CSS集群的操作可以参考创建CSS集群。 本示例创建的CSS集群版本为：7.6.2，集群为非安全集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建Kafka的Topic：创建Kafka生产消费数据的Topic。
具体步骤可参考购买RDS for MySQL实例。 已创建DWS实例。 具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建RDS MySQL数据库和表：创建RDS MySQL的数据库和表。
准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。
Postgres数据库版本不能低于11。 已创建DWS实例。 具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建RDS Postgres数据库：创建RDS Postgres的数据库和表。
DLI支持定制模板或将正在使用的SQL语句保存为模板，便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供SQL作业开发的操作指引和样例代码参考。 Spark SQL 相关API
Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块，提供在线的开发和调试能力，用于编写和调测模型训练代码。完成DLI对接Notebook实例后，您可以基于Notebook提供的Web交互的开发环境同时完成代码的编写与作业的开发，使用Notebook灵活的进行数据分析与探索，本节操作介
Kafka实例时，不能开启Kafka SASL_SSL。 已创建DWS实例。 具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建Kafka的Topic：创建Kafka生产消费数据的Topic。
本示例创建的RDS MySQL数据库版本选择为：8.0。 具体步骤可参考：购买RDS for MySQL实例。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建Kafka的Topic：创建Kafka生产消费数据的Topic。
作业监控。 监控指标说明请参考《数据湖探索用户指南》>《数据湖探索监控指标说明》。 父主题： Flink OpenSource SQL作业开发
flink.dli.job.agency.name=*** Flink Jar作业示例。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <properties> <flink.version>1.15
scala样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark Jar作业开发流程参考如下： 图1 Spark Jar作业开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列 DLI控制台 创建作业运行的DLI队列。
Flink1.15基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包
Spark3.3.1基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <dependency> <groupId>com.huaweicloud
除Spark以外，其他引擎也可以修改Hudi表元数据，但是这种修改会导致整个Hudi表出现数据重复，甚至数据损坏；因此禁止修改上述属性。 父主题： Spark on Hudi开发规范
用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI下UDTF函数开发流程参考如下： 图1 UDTF开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件 IntelliJ
019.1或其2019.1往后的版本。 安装Maven 开发环境的基本配置（下载并安装 Maven）。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI下UDAF函数开发流程参考如下： 图1 UDAF开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件
用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark作业访问DLI元数据开发流程参考如下： 图1 Spark作业访问DLI元数据开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列
2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI下UDF函数开发流程参考如下： 图1 开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件 IntelliJ IDEA
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
