检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
子句必须包含 window_start 和 window_end 列,但 ROLLUP 子句中不能包含这两个字段。 例如:下面这个查询和上个例子中的效果是一样的。 SELECT window_start, window_end, supplier_id, SUM(price) as price
huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。 编写代码示例 import org.apache.flink.table.functions
huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。 编写代码示例 import org.apache.flink.table.functions
2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.15版本说明 Flink 1.15版本在语法设计上实现了更高的兼容性,与主流开源技术标准保持一致。 Flink 1.15版本新增读写Hive、Hudi等Connector。 Flink 1.1
huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。 编写代码示例 import org.apache.flink.table.functions
分钟级别扩缩容,从容应对流量洪峰和资源诉求。 支持分时设置队列优先级和配额,提高资源利用率。 作业级资源隔离(暂未实现,后续版本支持) 支持独立Spark实例运行SQL作业,减少作业间相互影响。 自动弹性(暂未实现,后续版本支持) 基于队列负载和优先级实时自动更新队列配额。 弹性资源池解决方案主要解决了以下问题和挑战。
dli.sql.dynamicPartitionOverwrite.enabled=true,然后通过insert overwrite语句实现。 “dli.sql.dynamicPartitionOverwrite.enabled”默认值为“false”,在不配置时它会覆盖整张表的数据。
current.database=tpch set dli.sql.shuffle.partitions=10 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图4 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
database=tpch set dli.sql.shuffle.partitions=10 图5 SuperSet参数配置示例 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图6 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
hoodie.datasource.write.payload.class 在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 org.apache.hudi.common.model.DefaultHoodieRecordPayload
认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
而且在延迟时间内到达的每个数据都会更新输出结果。 说明: 当时间窗口为处理时间时,无论lateness_interval为何值,都不会有效果。 period_interval和lateness_interval不可为负数。 当period_interval为0时,表示没有使用窗口的周期触发策略;
认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
shuffle.partitions=100 图7 ODBC配置参数示例(Microsoft Hive ODBC) 在DLI的SQL编辑器的执行效果: 图8 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
-- @set dli.sql.shuffle.partitions=10 图6 Tableau参数配置示例 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
database=tpch set dli.sql.shuffle.partitions=10 图6 FineBI参数配置示例 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 DLI Flink Connector支持列表请参考Connector概述。
(property_name=property_value, property_name=property_value, ...)]可利用以下语句实现NULL值转换为空字符串。 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
Flink SQL作业类 怎样将OBS表映射为DLI的分区表? Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年制定的标准,用于决策支持系统方面的测试基准)发展而来的。TPC-H用3NF实现了一个数据仓库,共包含8个基本关系,其数据量可以设定从1G~3T不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指