检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
] [镜像仓库地址]/[组织名称]/[自定义镜像名称:自定义版本名称] 示例： docker tag mydli/spark:2.4 swr.xxx/testdli0617/spark:2.4.5.tensorflow 上传自定义镜像。 docker push [镜像仓库地址]/
下载 并 安装Maven 。 安装配置完成后，输入命令“mvn -v”,显示如下图 Maven版本信息 表示成功。 Maven安装完成后，可根据开发需要，直接引入依赖到已有的Maven工程或先用开发工具创建Maven工程。 创建项目以idea开发工具为例(已有Maven 工程可跳过此步骤)：
申请加入白名单。 方式一：使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分，提供了Java库和框架。 在不指定JDBC获取方式的情况下，默认使用Maven中央库的方式来添加JDBC驱动。 使用maven构加入huaweicloud-d
scala-maven-plugin，用于编译和打包。 <build> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId>
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
} 表1 参数说明 参数名 具体含义 举例 output.path 数据写入的OBS路径 obs://bucket/output checkpoint.path checkpoint的OBS路径 obs://bucket/checkpoint JAVA样例代码（Flink 1.12）
上传数据到OBS桶 OBS控制台 将测试数据上传到OBS桶下。 3 新建Maven工程，配置pom文件 IntelliJ IDEA 参考样例代码说明，编写程序代码读取OBS数据。 4 编写程序代码 5 调试，编译代码并导出Jar包 6 上传Jar包到OBS和DLI OBS控制台 DLI控制台
创建源表 Kafka源表 DIS源表 JDBC源表 DWS源表 Redis源表 Hbase源表 userDefined源表 父主题： 数据定义语句DDL
DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。
自定义函数 创建函数 删除函数 显示函数详情 显示所有函数
String 新增OBS表数据的类型，目前支持：Parquet、ORC、CSV、JSON和Avro格式。 说明： OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建
编写UDAF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件，由DLI进行纳管。 6 创建DLI的UDAF函数
参考操作步骤说明，编写UDF函数代码。 2 编写UDF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。
62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包 <dependency>
0</log4j.version> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> </properties>
参考操作步骤说明，编写UDTF函数代码。 2 编写UDTF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDTF函数。
PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 JAR OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 Flink Jar所在的OBS路径 分组名称 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。
存储数据：DLI中支持创建OBS表，该类型表在DLI服务中只有元数据，实际数据在该表对应的OBS路径中。 创建OBS表的SQL语法请参考《使用DataSource语法创建OBS表》和《使用Hive语法创建OBS表》。 备份数据：使用DLI提供导出API，将DLI的数据导出到OBS中备份。 具体API请参考《导出数据》。
对象存储OBS 对象存储OBS源表 对象存储OBS结果表 父主题： Connector列表
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
