如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。
第一个分区的最小值。 与scan.partition.column、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在 scan.partition.upper-bound 否 最后一个分区的最大值。 与scan.partition
的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。
Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs，取两者中的最大值作为Executor 或driver所需的CU数。 图2
16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的orc文件，其数据结果如下 202103251202020001, miniAppShop, 2021-03-25 12:02:02
nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。 说明： 相同/index/type下的Document id是唯一的。如果作为Document id的字段存在重复值，则在执行插入es时，重复id的Document将会被覆盖。 该
滤。 HAVING中除聚合函数外所使用的字段必须是GROUP BY中出现的字段。 HAVING子句支持算术运算，聚合函数等。 示例 先依据num对表transactions进行分组，再利用HAVING子句对查询结果进行过滤，price与amount乘积的最大值大于5000的记录将
滤。 HAVING中除聚合函数外所使用的字段必须是GROUP BY中出现的字段。 HAVING子句支持算术运算，聚合函数等。 示例 先依据num对表transactions进行分组，再利用HAVING子句对查询结果进行过滤，price与amount乘积的最大值大于5000的记录将
滤。 HAVING中除聚合函数外所使用的字段必须是GROUP BY中出现的字段。 HAVING子句支持算术运算，聚合函数等。 示例 先依据num对表transactions进行分组，再利用HAVING子句对查询结果进行过滤，price与amount乘积的最大值大于5000的记录将
ions参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在INSERT语句后可加上“distribute by rand()”，可以增加处理作业的并发量。例如：
timestamp 类型至 int96。 Decimal：根据精度，映射 decimal 类型至固定长度字节的数组。 下表列举了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。 注意：复合数据类型暂只支持写不支持读（Array、Map 与 Row）。 表2 数据类型映射 Flink数据类型
增强型跨源连接列表、查询增强型跨源连接、绑定队列、解绑队列、修改主机信息和查询增强型跨源授权信息。 跨源认证相关API 包括创建跨源认证、获取跨源认证列表、更新跨源认证、删除跨源认证API。 弹性资源池相关API 包括创建弹性资源池、查询所有弹性资源池、删除弹性资源池、修改弹性资源池信息等。
非必填。用于指定schema中的某个字段作为Redis中key的标识。在插入数据时与参数“table”配合使用。 partitions.number 读取数据时，并发task数。 scan.count 每批次读取的数据记录数，默认为100。如果在读取过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
而其他分组键对应的数据量很小，在聚合过程中，数据量大的分组会占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。 JOIN 操作倾斜 在执行表JOIN操作时，参与JOIN的键在某个表中分布极不均匀，导致大量数据集中在少数几个任务中处理，而其他任务则已完成，造成数据倾斜。 Group
annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。
LIKE子句用于在新表中包含来自现有表的所有列定义。可以指定多个LIKE子句，从而允许从多个表中复制列。如果指定了INCLUDING PROPERTIES，则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同，则将使用WITH子句中的值。默认是EXCLUDING
使用DLI查询数据前，需要将数据文件上传至OBS中。 步骤2：创建弹性资源池并添加队列 创建提交作业所需的计算资源。 步骤3：创建数据库 DLI元数据是SQL作业开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 步骤4：创建表 数据库创建完成后，需要在数据库db1中基于OBS上的样本数据创建表。
仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表（表类型为“Managed”）中的数据
print(tbl.name) 完整样例代码和依赖包说明请参考：Python SDK概述。 描述表信息 您可以使用该接口获取表的元数据描述信息。示例代码如下： def get_table_schema(dli_client, db_name, tbl_name):
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
