检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
predicate => "dt = '2021-08-28'", order => 'id'); 注意事项 table与path参数必须存在一个,否则无法判断需要执行clustering的表。 使用由DLI提供的元数据服务时,本命令仅支持配置table参数,不支持配置path参数。 如果需要
'[1,23,456]' AS ARRAY(INTEGER)); -- [1, 23, 456] JSON函数 NULL到JSON的转换并不能简单地实现。从独立的NULL进行转换将产生一个SQLNULL,而不是JSON 'null'。不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。
file-path' = '', 'format.type' = '' ); 注意事项 该建表语法的数据输出目录为OBS时,OBS必须为并行文件系统,不能为OBS桶。 使用fileSystem时必须开启checkpoint,保证作业的一致性。 format.type为parquet时,支持的数据类型为string
当清理策略为KEEP_ARCHIVED_FILES_BY_DAYS时,该参数可以设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题:
LI作业桶中查询对应作业的SQL执行计划并展示在控制台页面。 如果DLI作业桶中的SQL执行计划已经删除,那么点击查看后可能由于源文件缺失无法正常显示。 图1 查看SQL执行计划 父主题: 使用DLI提交SQL作业
表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。 生命周期只能在表级别设置,不能在分区级设置。为分区表指定的生命周期,适用于该表所有的分区。 语法格式 ALTER TABLE table_name SET TBLPROPERTIES("dli
nsion/dli/spark-jar/datasource/redis/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
tension/dli/spark-jar/datasource/dws/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
EXISTS参数跳过该错误。 OPTIONS中的所有参数是必选的,参数名称大小写不敏感,但参数值大小写敏感。 OPTIONS中引号内的值前后不能带空格,空格也会被当做有效值。 表名及列名的描述仅支持字符串常量。 创建表时要说明列名及对应的数据类型,目前支持的数据类型为:boolea
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串,无法转换则转为NULL输出,避免报错产生: SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
认值为NULL。 历史数据的默认值与列第一次设置的默认值一致,多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL暂不支持查看列默认值信息,可以通过执行show create table SQL查看。 不支持默认缺省列的写入方式,写入时必须指定列名。
列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数
(orc_table_property = value [, ...] ) ] ]① AS query [ WITH [ NO ] DATA ]② 限制 ① 和 ②的语法不能组合使用。 当使用了avro_schema_url属性时,以下操作是不支持的: 不支持CREATE TABLE AS操作 使用CREATE
的时间区域限定为固定的 5 分钟,数据集被分成两个不同的时间窗口:[12:00,12:05) 和 [12:05,12:10)。L2 和 R2 不能 join 在一起是因为它们不在一个窗口中。 语法格式 SELECT ... FROM L [LEFT|RIGHT|FULL OUTER]
同。 除此之外,窗口去重需要 PARTITION BY 子句包含表的 window_start 和 window_end 列。 否则优化器无法翻译。 Flink 使用 ROW_NUMBER() 移除重复数据,就像窗口TopN一样。理论上,窗口是一种特殊的窗口 Top-N:N是1并且是根据处理时间或事件时间排序的。
Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列,且不能修改表的原有属性。 权限需求 由DLI提供的元数据服务 SQL权限: database table CREATE_TABLE 无 细粒度权
持date、short、timestamp数据类型。 对于JSON格式OBS表,MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL,MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式转换,如:STRING类型转换为其他原生类型、FLOAT类型转换为
Top-N 需要 PARTITION BY 子句包含窗口表值函数或窗口聚合产生的 window_start 和 window_end。 否则优化器无法翻译。 更多介绍和使用请参考开源社区文档:窗口Top-N。 语法格式 SELECT [column_list] FROM ( SELECT
助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。 不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业,即jar包作业。 使用流程 图1 自定义镜像使用流程
ze”表示数据库规模的大小,能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之,TPC组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。