检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据库的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面创建数据库。 在管理控制台左侧，单击“数据管理”>“库表管理”。 在库表管理页面右上角，单击“创建数据库”可创建数据库。 在“SQL编辑器”页面创建数据库。 在管理控制台左侧，单击“SQL编辑器”。 在左侧导航栏单击“数据库”页签右侧可创建数据库。
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图12 创建程序包 步骤7：创建Spark Jar作业 登录DLI控制台，单击“作业管理 >
FileSystem源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时，对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
li_management_agency的委托信息。 步骤1：开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力，您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序，
数学函数概览 DLI所支持的数学函数如数学函数所示。 表1 数学函数 函数 命令格式 返回值 功能简介 abs abs(DOUBLE a) DOUBLE或INT 取绝对值。 acos acos(DOUBLE a) DOUBLE 返回给定角度a的反余弦值。 asin asin(DOUBLE
数学函数概览 DLI所支持的数学函数如数学函数所示。 表1 数学函数 函数 命令格式 返回值 功能简介 abs abs(DOUBLE a) DOUBLE或INT 取绝对值。 acos acos(DOUBLE a) DOUBLE 返回给定角度a的反余弦值。 asin asin(DOUBLE
下： 导出查询结果的操作入口有两个，分别在“SQL作业”和“SQL编辑器”页面。 在“作业管理”>“SQL作业”页面，可单击对应作业“操作”列“更多 > 导出结果”，可导出执行查询后的结果。 在“SQL编辑器”页面，查询语句执行成功后，在“查看结果”页签右侧，单击“导出结果”，可导出执行查询后的结果。
1访问元数据，则必须新建队列。 不支持的场景： 在SQL作业中创建了数据库（database），编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑器中的某SQL队列下，创建了数据库testdb。后续通过编写程序代码在testdb下创建表testTable，编译打包后提交的Spark Jar作业则会运行失败。
e表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不同的连接参数，并确保Flink作业能够正确地将数据路由到各个集群。 例如本例中分别对es1和es2定义连接器类型以及相关的属性。 在对应的Flink作业中添加如下SQL语句。
Format概述 Flink 提供了一套与表连接器（table connector）一起使用的表格式（table format）。 表格式是一种存储格式，定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka
页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 在“SQL编辑器”页面创建队列。
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： time_attr可以设置processing-time或者event-time。 time_attr设置为event-time时参数类型为bigint或者timestamp类型。
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： time_attr可以设置processing-time或者event-time。 time_attr设置为event-time时参数类型为bigint或者timestamp类型。
注意：创建队列时，队列类型必须要选择为：SQL队列。 前期准备 创建DLI数据库 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在SQL编辑器中输入以下语句创建数据库“testdb”。详细的DLI创建数据库的语法可以参考创建DLI数据库。
Spark、Apache Flink、trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？ 问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE
规模消息处理场景中使用。Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。表类型支持源表和结果表。 作为source，upsert-kafka 连接器生产changelog流，其中每条数据记录代表一个更新或删除事件。
数据以upsert的模式输出到Kafka中。 Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。 upsert-kafka连接器作为 sink，可以消费changelog 流。它会将INSERT/UPDAT
数据以upsert的模式输出到Kafka中。 Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。 upsert-kafka连接器作为 sink，可以消费changelog 流。它会将INSERT/UPDAT
准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
