检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hive。您需要先切换到Hive 方言，然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。 您可以为执行的每个语句动态切换方言。无需重新启动会话即可使用其他方言。 语法格式 SQL 方言可以通过 table.sql-dialect 属性指定 1 set table.sql-dialect=hive;
展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queue_job_running_num 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟
查询作业详情 功能介绍 查看一个作业的详情信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 同步数据库数据的客户端，都会有一个唯一ID，即Server ID。同一个数据库下，建议每个MySQL CDC作业配置不同的Server
持归档日志操作。 查看作业详情 在“SQL作业”页面，选中一条作业，单击该作业对应的，可查看该条作业的详细信息。 不同类型的作业，显示的作业详情不同。作业详情根据作业类型、状态和配置选项不同显示可能存在差异，具体以实际界面显示为准。以导入数据作业，建表作业和查询作业为例说明。其他
使用场景 包年包月的弹性资源池CU数在规格的范围内使用包年包月计费，超过规格的部分则按弹性资源池CU时计费的方式计费，您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如，当前弹性资源池的规格为64CU，实际使用过程中大部分时间CU数在128CU以上，没有规格变更的场
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
查询所有数据库（废弃） 功能介绍 该API用于查询出所有的数据库信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases 参数说明 表1 URI参数 参数名称
是否必选 参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型： sql：查询SQL队列类型的队列。 general：查询通用队列类型的队列。 all：查询所有类型的队列。 如果不指定，默认为sql。 with-priv 否 Boolean 是否返回权限信息。
import org.apache.spark.sql.types.StructType; import java.util.*; 创建会话 1 2 3 4 5 6 7 8 SparkConf sparkConf = new SparkConf(); sparkConf.set
OBS桶中。 图2 设置DLI作业桶 查询Spark作业日志 登录DLI管理控制台，单击“作业管理 > Spark作业”。 选择待查询的Spark作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“下载”下载Spark日志到本地。
StructField, IntegerType, StringType from pyspark.sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-rds").getOrCreate()
Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接，所以其中每一个SELECT语句返回的列数必须相同，列的类型一定要相同，列名不一定要相同。
储在该OBS桶中。 图2 设置DLI作业桶 查询SQL作业日志 登录DLI管理控制台，单击“作业管理 > SQL作业”。 选择待查询的SQL作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“ 下载”，下载SQL作业日志到本地。
INSERT INTO map_test VALUES ('test6',map('math',88,'chemistry',80)); 查询结果。 查询“map_test”表里的所有数据。 SELECT * FROM map_test; test6 {"chemistry":80,"math":88}
tor CPU核数”要小于队列的计算资源CU数，避免其他Spark任务角色无法启动。更多Spark任务角色的相关信息请参考Spark官方。 Spark作业参数计算公式： CU数=driver CPU核数+Executor个数*Executor CPU核数 内存数=driver内存
Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接，所以其中每一个SELECT语句返回的列数必须相同，列的类型一定要相同，列名不一定要相同。
Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接，所以其中每一个SELECT语句返回的列数必须相同，列的类型一定要相同，列名不一定要相同。
功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中，方便用户查看，主要用于代码调试，查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name attr_type
Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接，所以其中每一个SELECT语句返回的列数必须相同，列的类型一定要相同，列名不一定要相同。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
