检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线Compaction配置 对于MOR表的实时业务,通常设置在写入中同步生成compaction计划,因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
弹性资源池CU时按照时间顺序分为三个周期来计费,分别为:弹性资源池创建周期、弹性资源池使用中周期、弹性资源池删除周期。三个周期时间范围定义可以参考图2所示。 图2 弹性资源池CU时计费的三个周期示意图 start_time:弹性资源池创建成功状态为“可使用”时间点。 start_tim
查询经典型跨源连接列表 功能介绍 该API用于查询该用户已创建的经典型跨源连接列表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource-connection 参数说明 表1 URI参数
当以这种格式读取(反序列化)记录时,将根据记录中编码的 schema 版本 id 从配置的 Confluent Schema Registry 中获取 Avro writer schema ,而从 table schema 中推断出 reader schema。 当以这种格式写入(序列化)记录时,Avro
WINDOW 语法说明 Group Window定义在GROUP BY里,每个分组只输出一条记录,包括以下几种: 分组函数 在流处理表中的 SQL 查询中,分组窗口函数的 time_attr 参数必须引用一个合法的时间属性,且该属性需要指定行的处理时间或事件时间。 对于批处理的 SQL
TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性,如表的存储位置(location)、是不是外表(external)等。 示例 用指定列的查询结果创建新表orders_column_aliased:
) ] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。 对于从表中复制过来的属性,可以使用WITH子句指定属性名进行修改。
不支持绑定系统预置的default队列。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 绑定弹性资源池。 选择待绑定的增强型跨源连接,单击操作列的“更多 > 绑定弹性资源池”。 在绑定弹性资源池的对话框中,勾选待绑定的弹性资源池。 单击“确定”,弹性资源池的绑定。
在队列监控页面,分别查看以下指标查看当前队列的作业运行情况。 “提交中作业数”:展示当前队列中状态为“提交中”的作业数量。 “运行中作业数”:展示当前队列中状态为“运行中”的作业数量。 “已完成作业数”:展示当前队列中状态为“已成功”的作业数量。 图1 查看队列监控指标 父主题: DLI弹性资源池和队列类
的顺序没有进行优化,join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join (笛卡儿积)以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置,以防止出现过多的状态。
的顺序没有进行优化,join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join (笛卡儿积)以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置,以防止出现过多的状态。
反序列化的记录。 当以这种格式读取(反序列化)记录时,将根据记录中编码的 schema 版本 id 从配置的 Confluent Schema Registry 中获取 Avro writer schema ,而从 table schema 中推断出 reader schema。 当以这种格式写入(序列化)记录时,Avro
的顺序没有进行优化,join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join (笛卡儿积)以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置,以防止出现过多的状态。
LatencyMarker,下游算子接收到该标记后,通过当前时间减去标记中带的时间戳的方式,计算时延指标。算子的反压状态和时延可以通过Flink UI或者作业任务列表查看,一般情况下反压和高时延成对出现: 图2 反压状态和时延 性能分析 由于Flink的反压机制,流作业在存在性能
apache.curator.ConnectionState - Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string int,
CHARACTER_LENGTH(string) 返回字符串中的字符数。 UPPER(string) 以大写形式返回字符串。 LOWER(string) 以小写形式返回字符串。 POSITION(string1 IN string2) 返回 STRING2 中第一次出现 STRING1 的位置(从 1
源被自动删除。 在DLI资源生命周期的不同阶段,您可以根据需要选择一种方式进行续费,具体如图1所示。 图1 DLI资源生命周期 DLI资源从购买到到期前,处于正常运行阶段,资源状态为“运行中”。 到期后,资源状态变为“已过期”。 到期未续费时,DLI资源首先会进入宽限期,宽限期到期后仍未续费,资源状态变为“已冻结”。
属资源模式”的队列修改网段。 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待修改的队列,单击“操作”列“更多”中的“修改网段”。 图1 修改网段 填写需要的网段后,单击“确定”。队列修改网段成功后,需要等待5~10分钟,待队列所属集群资源重新拉起后再运行作业。 建议使用网段:
[1, 3, 5, 7, 9, 2, 4] (1 row) array_except(x, y) → array 描述:返回去重后的在x中但不在y中的元素数组。 select array_except(array [1,3,5,7,9],array [1,2,3,4,5]); _col0