检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MERGE INTO 命令功能 通过MERGE INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 命令格式
COMPACTION 命令功能 对Hudi表进行compaction操作,具体作用可以参考Hudi Compaction操作说明章节。 命令格式 call run_compaction(op => '[op]', table=>'[table]', path=>'[path]',
内置函数 数学运算函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 值构建函数 属性访问函数 Hash函数 聚合函数 表值函数 父主题: 函数
内置函数 具体使用请参考开源社区文档:内置函数。 比较函数 逻辑函数 算术函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 JSON函数 值构建函数 值获取函数 分组函数 Hash函数 聚合函数 表值函数 父主题: 函数
DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 Flink 1.12及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的
value1 IS DISTINCT FROM value2 BOOLEAN value1和value2的数据类型和值不完全相同返回 TRUE。 value1和value2的数据类型和值都相同返回 FALSE。 将 NULL 视为相同。 例如: 1 IS DISTINCT FROM
partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句,包括group by、join等场景时,常常会出现数据倾斜的问题,导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read
CES”来查看DLI队列中不同状态的作业情况,具体操作步骤如下: 在控制台搜索“云监控服务 CES”,进入云监控服务控制台。 在左侧导航栏选择“云服务监控 > 数据湖探索”,进入到云服务监控页面。 在云服务监控页面,“名称”列对应队列名称,单击对应队列名称,进入到队列监控页面。 在队列监控页面,分别查看以下指标查看当前队列的作业运行情况。
fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink Jar写入数据到OBS开发指南。 配置文件使用方法 方案一:直接在main函数里面加载文件内容到内存,然后广播到各个taskmanager,这种方式适合那种需要提前加载的少量变量。
发送如下测试数据: {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"} {"target":"one-two-ww-three","separator":"-"} 即数据如下: 表2
发送如下测试数据: {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"} {"target":"one-two-ww-three","separator":"-"} 即数据如下: 表2
"Timeout expired while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。
= 101); 执行结果: 表6 执行后数据 facultyNo classNo facultyNo=20 classNo=102 在上述删除条件的框选下,分区记录中第一条数据既满足院系编号,又满足班级编号,第二条数据满足了院系编号,第三条数据满足了班级编号。 因此执行删除分区语句后只剩余1行分区。
自定义配置”中手动配置以下参数,且优先以您的配置为准。 表1 DLI对接AOM Prometheus监控的配置项 参数 是否必选 默认值 数据类型 默认值 说明 metrics.reporter.remote.class 是 无 String com.huawei.flink.metrics
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待预览的表所在的数据库名称。 table_name 是 String 待预览的表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 mode 否
AND 6; -- null HetuEngine中,value,min和max 三个参数在between和not between中必须是同一数据类型。 错误示例:'John' between 2.3 and 35.2 BETWEEN等价写法示例: SELECT 3 BETWEEN 2
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang
SQL作业运行报错:DLI.0002 FileNotFoundException 问题现象 SQL作业执行报错,报错信息大致如下: Please contact DLI service. DLI.0002: FileNotFoundException: getFileStatus
DDL语法定义 CREATE TABLE语句 CREATE CATALOG语句 CREATE DATABASE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: SQL语法约束与定义
作。 CU设置时怎样调大CU范围最小值? 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs,如果想要调整的CU范围的最小值大于当前CUs,需要先调大实际CUs。 以下操作适用于目标CU小于等于CU范围的最大值。目标CU大于CU范围最大值时,请先调大弹性资源池的最大CU。