检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SHOW EXTERNAL FUNCTION qualified_function_name; 描述 显示所有内置函数的定义信息。 显示所有JAVA函数的描述信息。 显示给定函数的定义信息。 示例 SHOW functions; --使用LIKE子句 show functions
SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。
import org.slf4j.LoggerFactory; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Collections; /** * Read data
Kafka开启SSL认证。 操作步骤 下载认证凭证。 DMS Kafka 登录DMS Kafka控制台，单击实例名称进入详情页面。 在连接信息中，找到SSL证书，单击“下载”。 解压下载的kafka-certs压缩包，获取client.jks和phy_ca.crt文件。 MRS Kafka 登录MRS
Kafka读取数据的启动位点。 取值如下： earliest-offset：从Kafka最早分区开始读取。 latest-offset：从Kafka最新位点开始读取。 group-offsets（默认值）：根据Group读取。 timestamp：从Kafka指定时间点读取。配置该
Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。
如果该函数已经存在，则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前，只支持 JAVA, SCALA，且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数。 create
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败，日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 Flink SQ
单击右上角的”创建作业”即可提交Spark jar的作业。 编写并打包Spark jar的程序包：（以Maven项目为例） 创建或使用现有的maven java项目，在 pom.xml 中引入scala 2.12，spark 3.3.1 和hudi 0.11.0 版本的依赖。由于DLI环境已提供
deltaTest1012"; spark.sql(sql_select).show(); spark.stop(); } 2） api开发示例如下（java）。 public static void main( String[] args ) { SparkSession spark
代码实现读取Kafka源表数据写入到HDFS、DWS、Hive等结果表中的功能。 dli-spark-demo：开发Spark作业时的样例代码参考。具体如下： “dli-spark-demo-obs”读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。
激活队列扩缩容定时任务。默认开启。如果关闭，则系统不会触发执行当前设置的定时规格变更任务。 有效期 设置执行定时任务的时间段。包括“日期”和“时间”。 说明： “有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容，在“有效期”结束之后，系统不会自动缩容，需要手动修改或设置缩容定时任务。反之亦然。即为单次执行定时扩缩容。
原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。 设置依赖关系provided防止Jar包冲突。 确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。
如果开启安全模式，未开启https，需要配置用户名username、密码password，且语法中hosts字段值以http开头。 如果开启安全模式，开启https，需要配置用户名username、密码password、证书位置certificate。请注意该场景hosts字段值以https开头。
DWS源表（不推荐使用） 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。
SDK（服务自研）：是DLI服务自行开发的SDK，本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包（SDK）获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问，有服务端使用证书。
DWS源表 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data
partitionColumn 读取数据时，用于设置并发使用的数值型字段。 说明： “partitionColumn”，“lowerBound”，“upperBound”，“numPartitions”4个参数必须同时设置，不支持仅设置其中一部分。 为了提升并发读取的性能，建议使用自增列。
-version，检查是否安装成功，如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment (build 1.8.0_261-b12) Java HotSpot(TM) 64-Bit Server VM (build
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
