检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在SparkUI页面可查看Spark作业实时运行资源。 图2 SparkUI 在SparkUI页面还可以查看Spark作业原始资源配置（只对新集群开放）。 在SparkUI页面，单击“Environment”，可以查看Driver信息和Executor信息。 图3 Driver信息 图4 Executor信息
JOIN/INNER JOIN：只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表，否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接，来查看学生姓名及所选课程名称。
在实际作业运行中，由于作业的数据流量变化，导致所需计算资源不同，造成流量较小时计算资源浪费，流量较大时计算资源不足以满足计算所需。 DLI提供的动态扩缩容功能可以根据当前作业的负载情况，例如：数据输入输出量、数据输入输出速率、反压等情况，动态的调整当前作业所用的计算资源，提升资源利用率。 当前仅Flink
表示在计数时是否去除重复记录，默认为all，即计算全部记录。 如果指定distinct，则只计算唯一值数量。 colname 是 列值可以为任意类型。 colname可以为*，即count(*)，返回所有行数。 返回值说明 返回BIGINT类型。 colname值为NULL时，该行不参与计算。
所在安全组规则中的端口。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1
地理圆形，由圆心地理点（ST_POINT）和半径构成的地理圆形区域。 ST_CIRCLE(ST_POINT(1.0, 1.0), 1.234) 用户可以以基本地理空间几何元素为基础，构造复杂的地理空间几何元素，具体的变换方法见表2。 表2 基于基本地理空间几何元素构造复杂几何元素的变换表 变换方法
在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业，作业数量较多时，系统分页显示，可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。 执行引擎 SQL作业支持spark和Trino两种引擎。
SQL作业如何指定表的部分字段进行表数据的插入 如果你需要将数据插入到表中，但只想指定部分字段，你可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的
则缩容失败。 弹性扩容 当前队列规格不满足业务需要时，可以通过手动变更队列规格来扩容当前队列。 扩容属于耗时操作，在DLI“弹性扩缩容”页面执行扩容操作后，需要等待大约10分钟，具体时长和扩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”
回。默认情况下，该值以STRING类型返回。使用returnType可以选择不同的类型，支持以下类型： VARCHAR / STRING BOOLEAN INTEGER DOUBLE 对于空路径表达式或错误，可以定义为返回null、报错或返回定义的默认值。省略时，默认值为NULL
该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨
增强型跨源连接绑定弹性资源池 操作场景 如果其他弹性资源池想要通过已创建的增强型跨源连接来连接数据源，可以在增强型跨源连接页面绑定弹性资源池。本节的操作指导介绍增强型跨源连接绑定弹性资源池的操作指导。 约束限制 增强型跨源仅支持包年包月队列和按需专属的弹性资源池/队列。 绑定跨源的DLI队列网段和数据源网段不能重合。
ESCAPE C ] BOOLEAN 若A与模式B匹配，则返回TRUE。 必要时可以定义转义字符C。 A NOT LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B不匹配，则返回TRUE。 必要时可以定义转义字符C。 A SIMILAR TO B [ ESCAPE C ]
弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行，尽量满足队列按最大CU运行。 规格：购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是
会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。 基于以上场景，DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况，基于现有队列规格，在不同的时间或者周期内设置不同的队列大小，以满足自己的业务需求，节约成本。 本节操作仅适用于普通队列，不适用于弹性资源池队列。
io/。 前提条件 DLI要建立与Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨
io/。 前提条件 DLI要建立与Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨
ESCAPE C ] BOOLEAN 若A与模式B匹配，则返回TRUE。 必要时可以定义转义字符C。 A NOT LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B不匹配，则返回TRUE。 必要时可以定义转义字符C。 A SIMILAR TO B [ ESCAPE C ]
ESCAPE C ] BOOLEAN 若A与模式B匹配，则返回TRUE。 必要时可以定义转义字符C。 A NOT LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B不匹配，则返回TRUE。 必要时可以定义转义字符C。 A SIMILAR TO B [ ESCAPE C ]
ESCAPE C ] BOOLEAN 若A与模式B匹配，则返回TRUE。 必要时可以定义转义字符C。 A NOT LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B不匹配，则返回TRUE。 必要时可以定义转义字符C。 A SIMILAR TO B [ ESCAPE C ]
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
