检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
拥有以下权限：勾选2中创建的权限策略。 或者勾选系统角色“DLI Service Administrator”（权限较大，拥有DLI所有权限）也可以实现Flink作业的查看。 父主题： Flink作业咨询类
DLI增强型跨源连接创建对等连接的主要原因是为了实现DLI与不同VPC中的数据源之间的网络连通。 当DLI需要访问外部数据源，而这些数据源位于不同的VPC中时，由于网络隔离，DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接，可以采用对等连接的方式打通DLI与数据源的VPC网络，从而实现数据的互通和跨源分析。
huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数，并实现eval方法。open函数及close函数可选。 编写代码示例 import org.apache.flink.table.functions
GROUPING SETS 功能描述 GROUPING SETS生成交叉表格行，可以实现GROUP BY字段的交叉统计。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list
huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数，并实现eval方法。open函数及close函数可选。 编写代码示例 import org.apache.flink.table.functions
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力，基于用户可理解的SQL防御策略，实现对典型大SQL、低质量SQL的主动防御，包括事前提示、拦截和事中熔断，并不强制改变用户的SQL提交方式、SQL语法，对业务零改动且易落地。
x的格式，可以通过设置spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。 升级引擎版本后是否对作业有影响： 有影响，导出orc文件中null值存储形式不同。 示例代码： 准备数据： create table test_null(id
class MySource extends RichParallelSourceFunction<Row>{}，重点实现其中的open、run、close和cancel函数。实现完成后将该类编译打在jar中，通过sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下： <dependency>
中，已经有同名的函数注册了，则无法注册。如果 language tag 是 JAVA 或者 SCALA ，则 identifier 是 UDF 实现类的全限定名。 如果您需要了解创建自定义函数的步骤请参考自定义函数。 语法定义 CREATE [TEMPORARY|TEMPORARY SYSTEM]
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
ROLLUP 功能描述 ROLLUP生成聚合行、超聚合行和总计行。可以实现从右到左递减多级的统计，显示统计某一层次结构的聚合。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list
对等连接ID：增强型跨源在该队列所在集群中创建的对等连接ID。 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 对等连接的连接状态： 跨源连接
务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 在Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理，本节操作介绍配置DLI与LakeFormation的数据连接的操作步骤。 LakeFormation Spark语法请参考Spark语法参考。
状态索引：Flink引擎独有索引，是将行记录的存储位置记录到状态后端的一种索引形式，在作业冷启动过程中会遍历所有数据存储文件生成索引信息。 用Flink状态索引，Flink写入后，不支持Spark继续写入。 Flink在写Hudi的MOR表只会生成log文件，后续通过compact
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。 语法格式 1 2 SELECT attr_expr_list FROM table_reference CLUSTER BY col_name [,col_name ,...]; 关键字 CLUSTER BY：
TPC-H 基准测试是由 TPC-D（由 TPC 组织于 1994 年制定的标准，用于决策支持系统方面的测试基准）发展而来的。TPC-H用3NF实现了一个数据仓库，共包含8个基本关系，其数据量可以设定从1G~3T不等。TPC-H 基准测试包括 22 个查询(Q1~Q22)，其主要评
在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖。 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
SORT BY 功能描述 按字段实现表的局部排序。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference SORT BY col_name [ASC | DESC] [,col_name [ASC | DESC],..
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
