检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
滤。 HAVING中除聚合函数外所使用的字段必须是GROUP BY中出现的字段。 HAVING子句支持算术运算，聚合函数等。 示例 先依据num对表transactions进行分组，再利用HAVING子句对查询结果进行过滤，price与amount乘积的最大值大于5000的记录将
滤。 HAVING中除聚合函数外所使用的字段必须是GROUP BY中出现的字段。 HAVING子句支持算术运算，聚合函数等。 示例 先依据num对表transactions进行分组，再利用HAVING子句对查询结果进行过滤，price与amount乘积的最大值大于5000的记录将
的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。
ions参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在INSERT语句后可加上“distribute by rand()”，可以增加处理作业的并发量。例如：
ions参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在INSERT语句后可加上“distribute by rand()”，可以增加处理作业的并发量。例如：
的顺序没有进行优化，join 会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。
16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的orc文件，其数据结果如下 202103251202020001, miniAppShop, 2021-03-25 12:02:02
Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs，取两者中的最大值作为Executor 或driver所需的CU数。 图2
仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表（表类型为“Managed”）中的数据
nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。 说明： 相同/index/type下的Document id是唯一的。如果作为Document id的字段存在重复值，则在执行插入es时，重复id的Document将会被覆盖。 该
非必填。用于指定schema中的某个字段作为Redis中key的标识。在插入数据时与参数“table”配合使用。 partitions.number 读取数据时，并发task数。 scan.count 每批次读取的数据记录数，默认为100。如果在读取过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。
非必填。用于指定schema中的某个字段作为Redis中key的标识。在插入数据时与参数“table”配合使用。 partitions.number 读取数据时，并发task数。 scan.count 每批次读取的数据记录数，默认为100。如果在读取过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。
timestamp 类型至 int96。 Decimal：根据精度，映射 decimal 类型至固定长度字节的数组。 下表列举了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。 注意：复合数据类型暂只支持写不支持读（Array、Map 与 Row）。 表2 数据类型映射 Flink数据类型
print(tbl.name) 完整样例代码和依赖包说明请参考：Python SDK概述。 描述表信息 您可以使用该接口获取表的元数据描述信息。示例代码如下： def get_table_schema(dli_client, db_name, tbl_name):
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
而其他分组键对应的数据量很小，在聚合过程中，数据量大的分组会占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。 JOIN 操作倾斜 在执行表JOIN操作时，参与JOIN的键在某个表中分布极不均匀，导致大量数据集中在少数几个任务中处理，而其他任务则已完成，造成数据倾斜。 Group
如何创建Redis类型的缓存实例，请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
如何创建Redis类型的缓存实例，请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
使用DLI查询数据前，需要将数据文件上传至OBS中。 步骤2：创建弹性资源池并添加队列 创建提交作业所需的计算资源。 步骤3：创建数据库 DLI元数据是SQL作业开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 步骤4：创建表 数据库创建完成后，需要在数据库db1中基于OBS上的样本数据创建表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
