检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
F1后,后续作业使用新的F1函数逻辑,但是已执行完一半的作业使用旧的函数逻辑。 表2 携带OR REPLACE场景说明 序号 场景说明 场景举例 生效机制 操作影响 场景一 修改了原有程序包类的实现逻辑,重新创建的函数指定的JAR包名和类名保持和原有一致。 在Spark SQL队列下已创建自
service not known 问题根因 第一次执行DLI SQL脚本,用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台,选择“SQL编辑器”,输入任意执行一个SQL语句,比如“select 1”。 弹出隐
V), map2(K, V), ..., mapN(K, V)) 描述:合并多个map,当key值一样时,取最后一个map的value来构造键值对。如下示例中,a就使用了最后一个map的value值10。 select map_concat(map(ARRAY['a','b']
TABLE关键字说明 参数 描述 url Oracle的连接地址。 Oracle url支持以下格式: 格式一:jdbc:oracle:thin:@host:port:SID,其中SID是oracle数据库的唯一标识符。 格式二:jdbc:oracle:thin:@//host:port/servi
inted接口,并为每个算子设置唯一ID。然后在作业配置中,勾选“从Checkpoint恢复”,并准确配置Checkpoint路径。 图2 开启Checkpoint Flink Checkpoint机制可以保证Flink平台可感知内部状态的精确一致,但对于自定义Source/Si
子逻辑判断条件结束。 condition 逻辑判断条件。 exists 关键字,用于判断是否存在一个不为空的集合,若exists后面跟的为子查询,子查询中须包含逻辑判断条件。 in 关键字,用于判断属性是否在一个集合中。 attrs_value_set_expr 属性值集合。 attr_expr
and id < 50,另一个task执行id >=50 and id < 100。 fetchsize 读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 batchsize 写入数据时,每一批次写入数据的记录数,
rchive。 建议 Archive作业每天至少执行一次,可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Archive,MOR表的Archive可以参考2.2.1.6小节和Compaction放在一起异步去执行。COW的Archive可以在写数据时自动判断是否执行。
y); SEMI JOIN、ANTI JOIN 当一张表在另一张表找到匹配的记录之后,半连接(semi-join)返回第一张表中的记录。与条件连接相反,即使在右节点中找到几条匹配的记录,左节点的表也只会返回一条记录。另外,右节点的表一条记录也不会返回。半连接通常使用IN或EXISTS作为连接条件。
理”>“Flink作业”,进入Flink作业管理页面。 启动作业,有以下两种方式: 启动单个作业 选择一个作业,在对应的“操作”列中,单击“启动”。 也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”。 批量启动作业 勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。
[ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ ] END 当第一个时间值包含在 (valueX_1, valueX_2, …) 中时,返回 resultX。当没有值匹配时,如果提供则返回 result_z,
ta参考手册,描述了受支持的格式说明符。 说明符 说明 - / , . ; : 忽略标点符号 dd 一个月中的第几日(1-31) hh 一天中的第几个小时(1-12) hh24 一天中的第几个小时(0-23) mi 分钟(0-59) mm 月份(01-12) ss 秒(0-59)
table 需要查询的表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询的表的路径 table,path须选填其中之一 predicate 需要定义的谓语句,筛选需要Clustering的分区 否 order 指定clustering的排序字段
式时,如果某一列数据类型与目标表列数据类型不匹配,则该行数据将被设置为null。 DROPMALFORMED:选择DROPMALFORMED模式时,如果某一列数据类型与目标表列数据类型不匹配,则不导入该行数据。 FAILFAST:选择FAILFAST模式时,如果某一列类型不匹配,则会抛出异常,导入失败。
resultZ ] END 当value被包含在valueX_1、valueX_2......中时,则返回结果resultX 仅返回匹配到的第一条结果 若都不匹配,如果提供了默认值resultZ,则返回resultZ,否则返回null CASE WHEN condition1 THEN
server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID,该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup.mode 否 initial
扩容属于耗时操作,在DLI“弹性扩缩容”页面执行扩容操作后,需要等待大约10分钟,具体时长和扩容的CU值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如
[,… ] ) ] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。 对于从表中复制过来的属性,可以使用WITH子句指定属性名进行修改。
且长度为1~64个字符。 说明: 模板名称必须是唯一的。 描述 模板的相关描述,且长度为0~512字符。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。
节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,长度为0~512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息,请参见管理Flink作业模板。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务