检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
禁止建表时将hoodie.datasource.hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了
询语句也包含了这些子句,那么查询语句中的ORDER BY和LIMIT子句将以视图的结果为基础进行运算。 描述 使用SELECT查询结果创建新视图。视图是一个逻辑表,可以被将来的查询所引用,视图中没有数据。该视图对应的查询在每次被其他查询引用该视图时都会被执行。 如果视图已经存在,
die.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,
需要重启Spark SQL队列,影响当前运行的作业。 重启队列后,F1的功能不变。 场景三 原有程序包类的实现逻辑不变,重新打包程序包名。新创建的函数指定新JAR包名,类名保持不变。 在Spark SQL队列下已创建自定义函数F1,指定类名C1,Jar包名J1。 重新打包Jar包为J2,功能逻辑
new_columnName 参数描述 表1 参数描述 参数 描述 tableName 表名。 old_columnName 旧列名。 new_columnName 新列名。 示例 ALTER TABLE table1 RENAME COLUMN a.b.c TO x a.b.c 表示嵌套列全路径,嵌套列具体规则见ADD
expression [,… ] ) ] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。 对于从表中复制过来的属性,可以使用WITH子句指定属性名进行修改。
生数据类型。然而以反射方式提取数据类型并不总是成功的,比如UDTF中常见的Row类型。 由于 Flink 1.11 起引入了新的自定义函数注册接口,使用了新的自定义函数类型推断机制,因此原先1.10 重载 getResultType 声明返回字段类型的方式将不再可用。继续使用会抛出如下异常:
地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304
(values (1, 'a'), (2, 'b'),(3, 'c')) AS t (id, name); 创建一个具有列名id、name的新表: CREATE TABLE example AS SELECT * FROM (VALUES (1, 'a'), (2, 'b'),
生数据类型。然而以反射方式提取数据类型并不总是成功的,比如UDTF中常见的Row类型。 由于 Flink 1.11 起引入了新的自定义函数注册接口,使用了新的自定义函数类型推断机制,因此原先1.10 重载 getResultType 声明返回字段类型的方式将不再可用。继续使用会抛出如下异常:
说明: 程序包需提前上传至OBS服务中保存。 只支持选择文件。 分组设置 可选择“已有分组”,“创建新分组”或“不分组”。 分组名称 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。 选择“不分组”:不需要选择或输入组名称。 说明: 如果选择分组,则
ucket/src1/test.csv 导出方式 是 随导出创建指定路径: 该方式导出作业结果时,会创建一个新的文件夹路径,并将作业结果保存在这个路径中。适用于当您希望在新的路径下保存本次的导出结果的场景,方便作业结果的管理的回溯。 选择“随导出创建指定路径”时,请务必在“存储路
n)、是不是外表(external)等。 LIKE子句用于在新表中包含来自现有表的所有列定义。可以指定多个LIKE子句,从而允许从多个表中复制列。如果指定了INCLUDING PROPERTIES,则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同,则
输入长度不能超过50个字符。 语句 需要保存为模板的SQL语句。 描述 该模板的相应描述。 分组设置 已有分组 创建新分组 不分组 分组名称 “分组设置”选择“已有分组”或者“创建新分组”时,需要填写分组名称。 单击“确定”,完成模板创建。 在“SQL编辑器”页面创建模板。 在管理控制台左侧,单击“SQL编辑器”。
中省略这些字段。数据库会自动为这些字段生成值。例如,如果表中有一个名为id的自增主键字段,您可以在插入数据时不包含这个字段,数据库会自动为新插入的行分配一个唯一的id值。 使用NULL值:如果您需要在插入数据时明确指定某些字段由数据库自动填充,可以在这些字段的位置填写NULL。这
--创建一个名为traffic,如果不存在的话: CREATE SCHEMA IF NOT EXISTS traffic; --创建一个新表orders,使用子句with指定创建表的存储格式、存储位置、以及是否为外表: CREATE TABLE orders ( orderkey
在SparkUI页面可查看Spark作业实时运行资源。 图2 SparkUI 在SparkUI页面还可以查看Spark作业原始资源配置(只对新集群开放)。 在SparkUI页面,单击“Environment”,可以查看Driver信息和Executor信息。 图3 Driver信息
编辑模板参数说明 功能 描述 名称 可以修改模板名称。 描述 可以修改模板描述。 保存方式 修改:将修改保存至当前的模板中。 新增:将修改另存为新的模板。 SQL语句编辑区域 输入详细的SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》。 保存 保存修改。
function(K, V, boolean)) -> map(K, V) 描述:使用map中仅给定函数映射为true的entry去构造一个新的map。 SELECT map_filter(MAP(ARRAY[], ARRAY[]), (k, v) -> true); -- {} SELECT
适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。 切换项目或用户时,需要对新项目或用户授权,具体请参考配置Flink作业权限。 在DLI管理控制台的