华为云用户手册

Flink作业概述 DLI 支持的两种类型的Flink作业： Flink OpenSource SQL类型作业： 完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择，使得数据集成更加灵活和方便。 Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景，简化了流处理的复杂性，使得开发者可以更加专注于业务逻辑的实现。 创建Flink OpenSource SQL请参考创建Flink OpenSource SQL作业。 Flink Jar作业： DLI允许用户提交编译为Jar包的Flink作业，提供了更高的灵活性和自定义能力，适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时，用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF（用户定义函数）或特定库集成的场景，用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题： 使用DLI提交Flink作业

弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。 基于以上场景，DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况，基于现有队列规格，在不同的时间或者周期内设置不同的队列大小，以满足自己的业务需求，节约成本。 本节操作仅适用于普通队列，不适用于弹性资源池队列。

使用弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务，即队列最小规格为64CUs。 对于每个队列，最多支持创建12个定时任务。 每个定时任务开始时，弹性扩缩容的实际开始的时间有5分钟误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作，变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小，用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时，可能无法缩容到目标CU值，而是缩容到当前队列规格和目标规格中间的某个值，系统将在1小时后继续尝试进行缩容，直至下一个定时任务开始。 当一个定时任务没有扩容或者缩容到目标CU值时，系统会在约15分钟后再次触发扩缩计划，直到下一个定时任务开始。

操作场景 参考创建弹性资源池并添加队列创建完弹性资源池后，您可以将已有的队列关联至弹性资源池，即可将弹性资源池的资源用于后续作业的运行 您可以在弹性资源池页面通过“关联队列”将队列添加到弹性资源池。还可以在队列管理页面分配队列至弹性资源池。 弹性资源池Flink版本只支持1.10及其以上版本，如果准备分配到弹性资源池的作业使用Flink1.7版本可能会出现兼容性问题，需要提前做好Flink版本适配。

DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column DLI列 databases.dbname.tables.tbname.columns.colname jobs DLI Flink作业 jobs.flink.jobid resource DLI程序包 resources.resourcename group DLI程序包组 groups.groupname datasourceauth DLI跨源认证信息 datasourceauth.name edsconnections DLI增强跨源 edsconnections.连接ID 父主题： 权限管理

步骤二：添加队列到弹性资源池 在已创建的弹性资源池的“操作”列，单击“添加队列”进入弹性资源池添加的队列的操作界面。 首先配置弹性资源池队列的基本信息，具体参数参考如下。 名称：添加的队列的名称。 类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL和HetuEngine作业。 通用队列类型：用于运行Flink和Spark Jar作业。 其他参数请根据需要配置。 图3 添加队列 配置完基本参数后，单击“下一步”，在队列的扩缩容策略配置界面，修改扩缩容策略配置：最小CU：64、最大CU：64。 图4 队列扩缩容策略配置 单击“确定”完成添加队列操作。

注意事项 建议对流批业务实施资源池的精细化管理，将Flink实时流类型的作业与SQL批处理类型的作业分别置于独立的弹性资源池中。 优势在于：Flink实时流任务具有常驻运行的特质，确保其稳定运行而不会强制缩容，进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容，显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段00-09，则时间段范围为：[00:00，09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为：在任意一个时间段周期内，优先满足所有队列的最小CU数，剩余的CU（弹性资源池最大CU-所有队列的最小CU数之和）则根据配置的优先级顺序分配，直到剩余的CU数分配完成。 队列扩容成功后，系统开始对扩容的CU进行计费，直到缩容成功停止对扩容的CU计费。因此，要注意如果业务没有需求的情况下，要及时清理释放资源，否则不管CU是否真正的使用，都会一直计费。 表1 弹性资源池扩缩容CU分配场景说明（无任务场景） 场景 弹性资源池CU数分配说明 弹性资源池当前最大CU为256CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： 队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级10，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段： 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为160CU：弹性资源池的最大CU-两个队列的最小CU之和=256-32-64=160CU。 剩余CU数根据优先级高低来分配，因为队列B的优先级高于队列A，则优先将64CU分配给队列B，再分配32CU给队列A。 弹性资源池当前最大CU为96CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： 队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级10，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段： 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为0CU：弹性资源池的最大CU-两个队列的最小CU之和=96-32-64=0CU。 因为剩余的CU数已经没有，则停止分配。 弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： 队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级10，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段： 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为32CU：弹性资源池的最大CU-两个队列的最小CU之和=128-32-64=32CU。 按照优先级，则优先将剩余的32CU分配给B队列后停止分配。 弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： 队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段： 弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为32CU：弹性资源池的最大CU-两个队列的最小CU之和=128-32-64=32CU。 因为两个队列的优先级相同，则剩余32CU随机分配给两个队列。 表2 弹性资源池扩缩容CU分配场景说明（有任务场景） 场景 弹性资源池实际CUs 队列A资源分配 队列B资源分配 弹性资源池CU数分配说明 弹性资源池添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： 队列A扩缩容策略：时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：00:00-9:00，最小CU是64，最大CU是128 192CUs 64CUs 128CUs 当弹性资源池实际cu大于等于两个队列最大 cu之和，队列都分配最大值 96CUs 32CUs 64CUs 弹性资源池会优先满足两个队列的最小CU， 两个队列分配了最小CU后，无可用资源进行分配 128CUs 32CUs-64CUs 64CUs-96CUs 弹性资源池会优先满足两个队列的最小CU，即队列A先分配32CUs，队列B分配64CUs，有剩余32CUs可供分配。 剩余部分按照队列的负载以及队列优先级进行分配。队列实际CU会在列出的范围内变化。

配置程序包组或程序包权限 在“程序包管理”页面，选择要授权的程序包组或程序包，单击“操作”列中的“权限管理”。 进入“用户权限信息”页面，单击页面右上角“授权”新增授权用户，并选择对应的权限。 如果创建程序包时选择了分组，则权限管理为对应程序包组的权限管理。 如果创建程序包时选择了不分组，则权限管理为对应程序包的权限管理。 程序包组授权 图1 程序包组授权 表1 程序包组授权参数说明 参数名称 描述 用户名 被授权的 IAM 用户的名称。 说明： 该用户名称是已存在的IAM用户名称。 权限设置 使用组：使用该组的程序包。 更新组：更新该组内程序包，包含创建组内程序包。 查询组：查询组内程序包详情。 删除组：删除该组的程序包。 赋权：当前用户可将组的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该组的权限，但不能回收该组所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该组的权限。 程序包授权 图2 程序包授权 表2 程序包授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明： 该用户名称是已存在的IAM用户名称。 权限设置 使用程序包：使用该程序包。 更新程序包：更新该程序包。 查询程序包：查询该程序包。 删除程序包：删除该程序包。 赋权：当前用户可将程序包的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该程序包的权限，但不能回收该程序包所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该程序包的权限。

回收程序包组或程序包权限 DLI提供了一键回收程序包组或程序包权限的功能。 在“程序包管理”页面，选择要程序包组或程序包，单击“操作”列中的“权限管理”。 进入“用户权限信息”页面，单击对应子用户“操作”列中的“回收”将删除该用户的权限。 回收后该子用户将不具备该程序包组或程序包的任意权限。 如果创建程序包时选择了分组，则回收的是对应程序包组的权限。 如果创建程序包时选择了不分组，则回收的是对应程序包的权限。

修改程序包组或程序包权限 在“程序包管理”页面，选择要程序包组或程序包，单击“操作”列中的“权限管理”。 进入“用户权限信息”页面，单击对应子用户“操作”列中的“权限设置”可修改该用户的权限。 详细权限描述如表1和表2所示。 如果创建程序包时选择了分组，则修改的是对应程序包组的权限。 如果创建程序包时选择了不分组，则修改的是对应程序包的权限。 如果用户权限信息页面的“权限设置”选项为灰色时，表示您不具备修改此程序包组或程序包权限的权限。 您可以向管理员用户、组所有者等具有赋权权限的用户申请“程序包组或程序包的赋权”和“程序包组或程序包权限的回收”权限。

示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择 数据湖探索 ，进入DLI主界面。如果在“队列管理”页面可以查看队列列表，但是单击右上角“购买队列”，无法购买DLI队列（假设当前权限仅包含DLI ReadOnlyAccess），表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除 数据湖 探索外（假设当前策略仅包含DLI ReadOnlyAccess）的任一服务，如果提示权限不足，表示“DLI ReadOnlyAccess”已生效。

程序包管理页面 表2 程序包管理参数 参数 参数说明 分组名称 程序包所属分组的名称。如果不分组，则显示“--”。 名称 程序包名称。 所有者 上传程序包的用户名称。 包类型 程序包的类型。支持的包类型如下： JAR：用户jar文件。 PyFile：用户Python文件。 File：用户文件。 ModelFile：用户AI模型文件。 状态 创建程序包的状态。 上传中（Uploading）：表示程序包正在上传。 已成功（Finished）：表示程序包已经上传。 已失败（Failed）：表示程序包上传失败。 创建时间 创建程序包的时间。 更新时间 更新程序包的时间。 操作 权限管理：对程序包用户进行权限管理。 删除：删除程序包。 更多： 修改所有者：修改程序包用户。 标签：添加或编辑程序包标签。

跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业 开发Flink OpenSource SQL作业 开发Flink Jar作业 CloudTable HBase 创建HBase关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Hbase源表 Hbase结果表 Hbase维表 - CloudTable OpenTSDB 创建OpenTSDB关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 - - CSS 创建 CS S关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Elasticsearch结果表 - DCS Redis 创建DCS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Redis源表 Redis结果表 Redis维表 Flink作业样例 DDS 创建DDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 - - DMS - - Kafka源表 Kafka结果表 - DWS 创建DWS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 DWS源表 DWS结果表 DWS维表 Flink作业样例 MRS HBase 创建HBase关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Hbase源表 Hbase结果表 Hbase维表 Flink作业样例 MRS Kafka - - Kafka源表 Kafka结果表 Flink作业样例 MRS OpenTSDB 创建OpenTSDB关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 - - RDS MySQL 创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 MySQL CDC源表 - RDS PostGre 创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Postgres CDC源表 -

TPC-H样例数据简介 TPC-H（商业智能计算测试） 是交易处理效能委员会（TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前，在学术界和工业界普遍用来评价决策支持技术方面应用的性能。这种商业测试可以全方位评测系统的整体商业计算综合能力，对厂商的要求更高，同时也具有普遍的商业实用意义，目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。 TPC-H 基准测试是由 TPC-D（由 TPC 组织于 1994 年制定的标准，用于决策支持系统方面的测试基准）发展而来的。TPC-H用3NF实现了一个 数据仓库 ，共包含8个基本关系，其数据量可以设定从1G~3T不等。TPC-H 基准测试包括 22 个查询(Q1~Q22)，其主要评价指标是各个查询的响应时间，即从提交查询到结果返回所需时间。TPC-H 基准测试的度量单位是每小时执行的查询数( QphH@size)，其中“H”表示每小时系统执行复杂查询的平均次数，“size”表示数据库规模的大小，能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之，TPC组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。

TPC-H的测试和度量指标 TPC-H 测试分解为3 个子测试：数据装载测试、Power测试和Throughput测试。建立测试数据库的过程被称为装载数据，装载测试是为测试DBMS装载数据的能力。装载测试是第一项测试，测试装载数据的时间，这项操作非常耗时。Power 测试是在数据装载测试完成后，数据库处于初始状态，未进行其它任何操作，特别是缓冲区还没有被测试数据库的数据，被称为raw查询。Power测试要求22 个查询顺序执行1 遍，同时执行一对RF1 和RF2 操作。最后进行Throughput 测试，也是最核心和最复杂的测试，更接近于实际应用环境，与Power 测试比对SUT 系统的压力有非常大的增加，有多个查询语句组，同时有一对RF1 和RF2 更新流。

监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queue_job_running_num 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queue_job_succeed_num 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queue_job_failed_num 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queue_job_cancelled_num 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queue_alloc_cu_num 队列CU分配量 展示用户队列的CU分配情况。 ≥0 队列 5分钟 queue_min_cu_num 队列最小CU 展示用户队列中的最小CU。 ≥0 队列 5分钟 queue_max_cu_num 队列最大CU 展示用户队列中的最大CU。 ≥0 队列 5分钟 queue_priority 队列优先级 展示用户队列的优先级。 1~100 队列 5分钟 queue_cpu_usage 队列CPU使用率 展示用户队列的CPU使用率。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_disk_usage 队列磁盘使用率 展示用户队列的磁盘使用率。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_disk_used 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_mem_usage 队列内存使用率 展示用户队列的内存使用率。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_mem_used 队列内存使用量 展示用户队列的内存使用量。 该指标仅适用于普通队列。 ≥0 队列 5分钟 flink_read_records_per_second Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_write_records_per_second Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_read_records_total Flink作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_write_records_total Flink作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_read_bytes_per_second Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flink_write_bytes_per_second Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flink_read_bytes_total Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flink_write_bytes_total Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flink_cpu_usage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flink_mem_usage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flink_max_op_latency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。 ≥0 Flink作业 10秒钟 flink_max_op_backpressure_level Flink作业最大算子反压 展示用户Flink作业的最大算子反压值，数值越大，反压越严重。 0：表示OK 50：表示Low 100：表示High 0~100 Flink作业 10秒钟 elastic_resource_pool_cpu_usage 弹性资源池CPU使用率 展示用户弹性资源池的CPU使用率。 0~100 弹性资源池 5分钟 elastic_resource_pool_mem_usage 弹性资源池内存使用率 展示用户弹性资源池的内存使用率。 0~100 弹性资源池 5分钟 elastic_resource_pool_disk_usage 弹性资源池磁盘使用率 展示用户弹性资源池的磁盘使用率。 0~100 弹性资源池 5分钟 elastic_resource_pool_disk_max_usage 弹性资源池磁盘使用率最大值 展示用户弹性资源池的磁盘使用率最大值。 0~100 弹性资源池 5分钟 elastic_resource_pool_cu_num 弹性资源池CU使用量 展示用户弹性资源池的CU使用量。 ≥0 弹性资源池 5分钟 elastic_resource_pool_alloc_cu_num 弹性资源池CU分配量 展示用户弹性资源池的CU分配情况。 ≥0 弹性资源池 5分钟 elastic_resource_pool_min_cu_num 弹性资源池最小CU 展示用户弹性资源池的最小CU。 ≥0 弹性资源池 5分钟 elastic_resource_pool_max_cu_num 弹性资源池最大CU 展示用户弹性资源池的最大CU。 ≥0 弹性资源池 5分钟

Flink 1.7.2 依赖包 Flink 1.7.2作业程序开发的样例代码可以参考DLI样例代码中的“luxor-demo\dli-flink-demo”。 表6 Flink 1.7.2 依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.1.3.jar httpcore-4.4.4.jar bcprov-jdk15on-1.60.jar flink-cep_2.11-1.7.0.jar httpcore-nio-4.4.4.jar commons-codec-1.9.jar flink-cep-scala_2.11-1.7.0.jar java-xmlbuilder-1.1.jar commons-configuration-1.7.jar flink-dist_2.11-1.7.0.jar jna-4.1.0.jar deeplearning4j-core-0.9.1.jar flink-gelly_2.11-1.7.0.jar libtensorflow-1.12.0.jar deeplearning4j-nlp-0.9.1.jar flink-gelly-scala_2.11-1.7.0.jar log4j-over-slf4j-1.7.21.jar deeplearning4j-nn-0.9.1.jar flink-ml_2.11-1.7.0.jar logback-classic-1.2.3.jar ejml-cdense-0.33.jar flink-python_2.11-1.7.0.jar logback-core-1.2.3.jar ejml-core-0.33.jar flink-queryable-state-runtime_2.11-1.7.0.jar nd4j-api-0.9.1.jar ejml-ddense-0.33.jar flink-shaded-curator-1.7.0.jar nd4j-native-0.9.1.jar ejml-dsparse-0.33.jar flink-shaded-hadoop2-uber-1.7.0.jar nd4j-native-api-0.9.1.jar ejml-experimental-0.33.jar flink-table_2.11-1.7.0.jar nd4j-native-platform-0.9.1.jar ejml-fdense-0.33.jar guava-26.0-jre.jar okhttp-3.14.8.jar ejml-simple-0.33.jar hadoop-3.1.1-41-20201014.085840-4.jar okio-1.14.0.jar ejml-zdense-0.33.jar httpasyncclient-4.1.2.jar slf4j-api-1.7.21.jar elsa-3.0.0-M7.jar httpclient-4.5.12.jar tensorflow-1.12.0.jar log4j-api-2.16.0.jar log4j-core-2.16.0.jar log4j-api-2.8.2.jar log4j-core-2.8.2.jar - -

Flink 1.12依赖包 表4 Flink 1.12依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar flink-json-1.12.2-ei-313001-dli-2022011002.jar libtensorflow-1.12.0.jar bcprov-jdk15on-1.60.jar flink-kubernetes_2.11-1.12.2-ei-313001-dli-2022011002.jar log4j-1.2-api-2.17.1.jar clickhouse-jdbc-0.3.1-ei-313001-SNAPSHOT.jar flink-metrics-prometheus_2.11-1.12.2-ei-313001-dli-2022011002.jar log4j-api-2.17.1.jar commons-codec-1.9.jar flink-obs-hadoop-fs-2.0.0-20220226.034421-73.jar log4j-core-2.17.1.jar commons-configuration-1.7.jar flink-s3-fs-hadoop-1.12.2.jar log4j-slf4j-impl-2.17.1.jar dataflow-fs-obs-2.0.0-20220226.034402-190.jar flink-shaded-zookeeper-3.6.3-ei-313001-SNAPSHOT.jar luxor-encrypt-2.0.0-20220405.072004-199.jar deeplearning4j-core-0.9.1.jar flink-sql-avro-1.12.2-ei-313001-dli-2022011002.jar luxor-fs3-2.0.0-20220405.072025-195.jar deeplearning4j-nlp-0.9.1.jar flink-sql-avro-confluent-registry-1.12.2-ei-313001-dli-2022011002.jar luxor-obs-fs3-2.0.0-20220405.072030-195.jar deeplearning4j-nn-0.9.1.jar flink-table_2.11-1.12.2-ei-313001-dli-2022011002.jar manager-hadoop-security-crypter-8.1.3-313001-SNAPSHOT.jar ejml-cdense-0.33.jar flink-table-blink_2.11-1.12.2-ei-313001-dli-2022011002.jar manager-wc2frm-8.1.3-313001-SNAPSHOT.jar ejml-core-0.33.jar guava-18.0.jar mrs-obs-provider-3.1.1.49.jar ejml-ddense-0.33.jar guava-26.0-jre.jar nd4j-api-0.9.1.jar ejml-dsparse-0.33.jar hadoop-hdfs-client-3.1.1-ei-302002.jar nd4j-native-0.9.1.jar ejml-experimental-0.33.jar hadoop-3.1.1-46.jar nd4j-native-api-0.9.1.jar ejml-fdense-0.33.jar hadoop-plugins-8.1.3-313001-SNAPSHOT.jar nd4j-native-platform-0.9.1.jar ejml-simple-0.33.jar httpasyncclient-4.1.2.jar okhttp-3.14.8.jar ejml-zdense-0.33.jar httpclient-4.5.3.jar okio-1.14.0.jar elsa-3.0.0-M7.jar httpcore-4.4.4.jar ranger-obs-client-0.1.1.jar flink-changelog-json-1.12.2-ei-313001-dli-2022011002.jar httpcore-nio-4.4.4.jar secComponentApi-1.0.5.jar flink-csv-1.12.2-ei-313001-dli-2022011002.jar java-xmlbuilder-1.1.jar slf4j-api-1.7.26.jar flink-dist_2.11-1.12.2-ei-313001-dli-2022011002.jar jna-4.1.0.jar tensorflow-1.12.0.jar

Flink 1.10依赖包 Flink 1.10作业程序开发的样例代码可以参考使用Flink Jar写入数据到OBS开发指南。 2020年12月之后创建的新队列才能使用Flink 1.10依赖包。 表5 Flink 1.10依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.20.6.1.jar java-xmlbuilder-1.1.jar bcprov-jdk15on-1.60.jar flink-cep_2.11-1.10.0.jar jna-4.1.0.jar commons-codec-1.9.jar flink-cep-scala_2.11-1.10.0.jar libtensorflow-1.12.0.jar commons-configuration-1.7.jar flink-dist_2.11-1.10.0.jar log4j-over-slf4j-1.7.26.jar deeplearning4j-core-0.9.1.jar flink-python_2.11-1.10.0.jar logback-classic-1.2.3.jar deeplearning4j-nlp-0.9.1.jar flink-queryable-state-runtime_2.11-1.10.0.jar logback-core-1.2.3.jar deeplearning4j-nn-0.9.1.jar flink-sql-client_2.11-1.10.0.jar nd4j-api-0.9.1.jar ejml-cdense-0.33.jar flink-state-processor-api_2.11-1.10.0.jar nd4j-native-0.9.1.jar ejml-core-0.33.jar flink-table_2.11-1.10.0.jar nd4j-native-api-0.9.1.jar ejml-ddense-0.33.jar flink-table-blink_2.11-1.10.0.jar nd4j-native-platform-0.9.1.jar ejml-dsparse-0.33.jar guava-26.0-jre.jar okhttp-3.14.8.jar ejml-experimental-0.33.jar hadoop-3.1.1-41.jar okio-1.14.0.jar ejml-fdense-0.33.jar httpasyncclient-4.1.2.jar secComponentApi-1.0.5.jar ejml-simple-0.33.jar httpclient-4.5.3.jar slf4j-api-1.7.26.jar ejml-zdense-0.33.jar httpcore-4.4.4.jar tensorflow-1.12.0.jar elsa-3.0.0-M7.jar httpcore-nio-4.4.4.jar -

Spark 2.3.2 依赖包 表3 Spark 2.3.2 依赖包 依赖包名称 accessors-smart-1.2.jar HikariCP-java7-2.4.12.jar logging-interceptor-3.14.4.jar activation-1.1.1.jar hive-common-1.2.1-2.1.0.dli-20201111.064115-91.jar luxor-encrypt-2.1.0-20201106.065437-53.jar aircompressor-0.8.jar hive-exec-1.2.1-2.1.0.dli-20201111.064444-91.jar luxor-fs3-2.1.0-20201106.065612-53.jar alluxio-2.3.1-luxor-SNAPSHOT-client.jar hive-metastore-1.2.1-2.1.0.dli-20201111.064230-91.jar luxor-obs-fs3-2.1.0-20201106.065616-53.jar antlr-2.7.7.jar hk2-api-2.4.0-b34.jar luxor-rpc_2.11-2.1.0-20201106.065541-53.jar antlr4-runtime-4.8-1.jar hk2-locator-2.4.0-b34.jar luxor-rpc-protobuf2-2.1.0-20201106.065551-53.jar antlr-runtime-3.4.jar hk2-utils-2.4.0-b34.jar lz4-java-1.7.1.jar aopalliance-1.0.jar hppc-0.7.2.jar machinist_2.11-0.6.1.jar aopalliance-repackaged-2.4.0-b34.jar htrace-core4-4.2.0-incubating-1.0.0.jar macro-compat_2.11-1.1.1.jar apache-log4j-extras-1.2.17.jar httpclient-4.5.4.jar metrics-core-3.1.5.jar arpack_combined_all-0.1.jar httpcore-4.4.7.jar metrics-graphite-3.1.5.jar arrow-format-0.8.0.jar ivy-2.4.0.jar metrics-jmx-4.1.12.1.jar arrow-memory-0.8.0.jar j2objc-annotations-1.3.jar metrics-json-3.1.5.jar arrow-vector-0.8.0.jar jackson-annotations-2.10.0.jar metrics-jvm-3.1.5.jar asm-5.0.4.jar jackson-core-2.10.0.jar minlog-1.3.0.jar audience-annotations-0.5.0.jar jackson-core-asl-1.9.13-atlassian-4.jar mssql-jdbc-6.2.1.jre7.jar automaton-1.11-8.jar jackson-databind-2.10.0.jar netty-3.10.6.Final.jar avro-1.7.7.jar jackson-dataformat-yaml-2.10.0.jar netty-all-4.1.51.Final.jar avro-ipc-1.7.7.jar jackson-datatype-jsr310-2.10.3.jar nimbus-jose-jwt-8.19.jar avro-ipc-1.7.7-tests.jar jackson-jaxrs-base-2.10.3.jar objenesis-2.1.jar avro-mapred-1.7.7-hadoop2.jar jackson-jaxrs-json-provider-2.10.3.jar okhttp-3.14.4.jar java-sdk-bundle-1.11.271.jar jackson-mapper-asl-1.9.13-atlassian-4.jar okio-1.17.2.jar base64-2.3.8.jar jackson-module-jaxb-annotations-2.10.3.jar opencsv-2.3.jar bcpkix-jdk15on-1.66.jar jackson-module-paranamer-2.10.0.jar opencsv-4.6.jar bcprov-jdk15on-1.66.jar jackson-module-scala_2.11-2.10.0.jar opencv-4.3.0-2.jar bonecp-0.8.0.RELEASE.jar jakarta.activation-api-1.2.1.jar orc-core-1.4.4-nohive.jar breeze_2.11-0.13.2.jar jakarta.xml.bind-api-2.3.2.jar orc-mapreduce-1.4.4-nohive.jar breeze-macros_2.11-0.13.2.jar janino-3.0.8.jar oro-2.0.8.jar calcite-avatica-1.2.0-incubating.jar javacpp-1.5.4.jar osgi-resource-locator-1.0.1.jar calcite-core-1.2.0-incubating.jar javacpp-1.5.4-linux-x86_64.jar paranamer-2.8.jar calcite-linq4j-1.2.0-incubating.jar javacv-1.5.4.jar parquet-column-1.8.3.jar checker-qual-2.11.1.jar JavaEWAH-1.1.7.jar parquet-common-1.8.3.jar chill_2.11-0.8.4.jar javassist-3.18.1-GA.jar parquet-encoding-1.8.3.jar chill-java-0.8.4.jar javax.annotation-api-1.2.jar parquet-format-2.3.1.jar commons-beanutils-1.9.4.jar javax.inject-1.jar parquet-hadoop-1.8.3.jar commons-cli-1.2.jar javax.inject-2.4.0-b34.jar parquet-hadoop-bundle-1.6.0.jar commons-codec-2.0-20130428.202122-59.jar javax.servlet-api-3.1.0.jar parquet-jackson-1.8.3.jar commons-collections-3.2.2.jar javax.ws.rs-api-2.0.1.jar parquet-format-2.3.1.jar commons-collections4-4.2.jar java-xmlbuilder-1.1.jar parquet-hadoop-1.8.3.jar commons-compiler-3.0.8.jar javolution-5.3.1.jar parquet-hadoop-bundle-1.6.0.jar commons-compress-1.4.1.jar jaxb-api-2.2.11.jar parquet-jackson-1.8.3.jar commons-configuration2-2.1.1.jar jcip-annotations-1.0-1.jar postgresql-42.2.14.jar commons-crypto-1.0.0-20191105.jar jcl-over-slf4j-1.7.26.jar protobuf-java-2.5.0.jar commons-daemon-1.0.13.jar jdo-api-3.0.1.jar py4j-0.10.7.jar commons-dbcp-1.4.jar jersey-client-2.23.1.jar pyrolite-4.13.jar commons-dbcp2-2.7.0.jar jersey-common-2.23.1.jar re2j-1.1.jar commons-httpclient-3.1.jar jersey-container-servlet-2.23.1.jar RoaringBitmap-0.5.11.jar commons-io-2.5.jar jersey-container-servlet-core-2.23.1.jar scala-compiler-2.11.12.jar commons-lang-2.6.jar jersey-guava-2.23.1.jar scala-library-2.11.12.jar commons-lang3-3.5.jar jersey-media-jaxb-2.23.1.jar scalap-2.11.0.jar commons-logging-1.2.jar jersey-server-2.23.1.jar scala-parser-combinators_2.11-1.1.0.jar commons-math3-3.4.1.jar jets3t-0.9.4.jar scala-reflect-2.11.12.jar commons-net-2.2.jar jetty-http-9.4.31.v20200723.jar scala-xml_2.11-1.0.5.jar commons-pool-1.5.4.jar jetty-io-9.4.31.v20200723.jar secComponentApi-1.0.5c.jar commons-pool2-2.8.0.jar jetty-security-9.4.31.v20200723.jar shapeless_2.11-2.3.2.jar commons-text-1.3.jar jetty-server-9.4.31.v20200723.jar slf4j-api-1.7.30.jar compress-lzf-1.0.3.jar jetty-servlet-9.4.31.v20200723.jar slf4j-log4j12-1.7.30.jar core-1.1.2.jar jetty-util-9.4.31.v20200723.jar snakeyaml-1.24.jar curator-client-4.2.0.jar jetty-util-ajax-9.4.31.v20200723.jar snappy-java-1.1.7.5.jar curator-framework-4.2.0.jar jetty-webapp-9.4.31.v20200723.jar spark-catalyst_2.11-2.3.2.0101-2.1.0.dli-20201111.073826-143.jar curator-recipes-2.7.1.jar jetty-xml-9.4.31.v20200723.jar spark-core_2.11-2.3.2.0101-.0.dli-20201111.073836-134.jar datanucleus-api-jdo-3.2.6.jar joda-time-2.9.3.jar spark-graphx_2.11-2.3.2.0101-2.1.0.dli-20201111.073847-129.jar datanucleus-core-3.2.10.jar jodd-core-4.2.0.jar spark-hive_2.11-2.3.2.0101-.0.dli-20201111.073854-132.jar datanucleus-rdbms-3.2.9.jar json-20200518.jar spark-kubernetes_2.11-2.3.2.0101-2.1.0.dli-20201111.073916-85.jar derby-10.12.1.1.jar json4s-ast_2.11-3.2.11.jar spark-kvstore_2.11-2.3.2.0101-2.1.0.dli-20201111.073933-127.jar dnsjava-2.1.7.jar json4s-core_2.11-3.2.11.jar spark-launcher_2.11-2.3.2.0101-2.1.0.dli-20201111.073940-127.jar ehcache-3.3.1.jar json4s-jackson_2.11-3.2.11.jar spark-mllib_2.11-2.3.2.0101-2.1.0.dli-20201111.073946-127.jar eigenbase-properties-1.1.5.jar json-sanitizer-1.2.1.jar spark-mllib-local_2.11-2.3.2.0101-2.1.0.dli-20201111.073953-127.jar error_prone_annotations-2.3.4.jar json-smart-2.3.jar spark-network-common_2.11-2.3.2.0101-2.1.0.dli-20201111.073959-127.jar failureaccess-1.0.1.jar jsp-api-2.1.jar spark-network-shuffle_2.11-2.3.2.0101-2.1.0.dli-20201111.074007-127.jar fastutil-8.2.3.jar jsr305-3.0.2.jar spark-om_2.11-2.3.2.0101-.0.dli-20201111.074019-125.jar ffmpeg-4.3.1-1.5.4.jar jta-1.1.jar spark-repl_2.11-2.3.2.0101-2.1.0.dli-20201111.074028-125.jar ffmpeg-4.3.1-1.5.4-linux-x86_64.jar jtransforms-2.4.0.jar spark-sketch_2.11-2.3.2.0101-2.1.0.dli-20201111.074035-125.jar flatbuffers-1.2.0-3f79e055.jar jul-to-slf4j-1.7.26.jar spark-sql_2.11-2.3.2.0101-2.1.0.dli-20201111.074041-126.jar generex-1.0.2.jar junit-4.11.jar spark-streaming_2.11-2.3.2.0101-2.1.0.dli-20201111.074100-123.jar geronimo-jcache_1.0_spec-1.0-alpha-1.jar kerb-admin-1.0.1.jar spark-tags_2.11-2.3.2.0101-2.1.0.dli-20201111.074136-123.jar gson-2.2.4.jar kerb-client-1.0.1.jar spark-tags_2.11-2.3.2.0101-2.1.0.dli-20201111.074141-124-tests.jar guava-29.0-jre.jar kerb-common-1.0.1.jar spark-unsafe_2.11-2.3.2.0101-2.1.0.dli-20201111.074144-123.jar guice-4.0.jar kerb-core-1.0.1.jar spark-uquery_2.11-2.3.2.0101-2.1.0.dli-20201111.074906-210.jar guice-servlet-4.0.jar kerb-crypto-1.0.1.jar spark-yarn_2.11-2.3.2.0101-2.1.0.dli-20201111.074151-123.jar hadoop-annotations-3.1.1-ei-302002.jar kerb-identity-1.0.1.jar spire_2.11-0.13.0.jar hadoop-auth-3.1.1-ei-302002.jar kerb-server-1.0.1.jar spire-macros_2.11-0.13.0.jar hadoop-3.1.1-ei-302002.jar kerb-simplekdc-1.0.1.jar ST4-4.3.1.jar hadoop-client-3.1.1-ei-302002.jar kerb-util-1.0.1.jar stax2-api-3.1.4.jar hadoop-common-3.1.1-ei-302002.jar kerby-asn1-1.0.1.jar stax-api-1.0-2.jar hadoop-hdfs-3.1.1-ei-302002.jar kerby-config-1.0.1.jar stream-2.7.0.jar hadoop-hdfs-client-3.1.1-ei-302002.jar kerby-pkix-1.0.1.jar stringtemplate-3.2.1.jar hadoop-3.1.1-41.jar kerby-util-1.0.1.jar token-provider-1.0.1.jar hadoop-mapreduce-client-common-3.1.1-ei-302002.jar kerby-xdr-1.0.1.jar univocity-parsers-2.5.9.jar hadoop-mapreduce-client-core-3.1.1-ei-302002.jar kryo-shaded-3.0.3.jar validation-api-1.1.0.Final.jar hadoop-mapreduce-client-jobclient-3.1.1-ei-302002.jar kubernetes-client-4.9.2-20200804.jar woodstox-core-5.0.3.jar hadoop-minikdc-3.1.1-ei-302002.jar kubernetes-model-4.9.2-20200804.jar xbean-asm5-shaded-4.4.jar hadoop-yarn-api-3.1.1-ei-302002.jar kubernetes-model-common-4.9.2-20200804.jar xercesImpl-2.12.0.jar hadoop-yarn-client-3.1.1-ei-302002.jar leveldbjni-all-1.8-20191105.jar xml-apis-1.4.01.jar hadoop-yarn-common-3.1.1-ei-302002.jar libfb303-0.9.3.jar xz-1.0.jar hadoop-yarn-registry-3.1.1-ei-302002.jar libthrift-0.12.0.jar zjsonpatch-0.3.0.jar hadoop-yarn-server-common-3.1.1-ei-302002.jar listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar zookeeper-3.5.6-ei-302002.jar hadoop-yarn-server-web-proxy-3.1.1-ei-302002.jar log4j-1.2.17-cloudera1.jar zookeeper-jute-3.5.6-ei-302002.jar hamcrest-core-1.3.jar log4j-rolling-appender-20131024-2017.jar zstd-jni-1.4.4-11.jar

Spark 2.4.5 依赖包 表2 Spark 2.4.5 依赖包 依赖包名称 JavaEWAH-1.1.7.jar httpclient-4.5.6.jar lucene-queryparser-7.7.2.jar RoaringBitmap-0.7.45.jar httpcore-4.4.10.jar lucene-sandbox-7.7.2.jar ST4-4.3.1.jar ivy-2.4.0.jar luxor-encrypt-2.0.0-20220623.010726-213.jar accessors-smart-1.2.jar jackson-annotations-2.11.4.jar luxor-fs3-2.0.0-20220623.010750-209.jar activation-1.1.1.jar jackson-core-2.11.4.jar luxor-obs-fs3-2.0.0-20220623.010756-209.jar aircompressor-0.16.jar jackson-core-asl-1.9.13-atlassian-4.jar luxor-rpc_2.11-2.0.0-20220623.010737-182.jar alluxio-2.3.1-luxor-SNAPSHOT-client.jar jackson-databind-2.11.4.jar luxor-transport-2.0.0-20220623.010744-71.jar annotations-17.0.0.jar jackson-dataformat-yaml-2.11.4.jar lz4-java-1.7.1.jar antlr-2.7.7.jar jackson-datatype-jsr310-2.11.2.jar machinist_2.11-0.6.1.jar antlr-runtime-3.4.jar jackson-jaxrs-base-2.10.3.jar macro-compat_2.11-1.1.1.jar antlr4-runtime-4.8-1.jar jackson-jaxrs-json-provider-2.10.3.jar metrics-core-3.1.5.jar aopalliance-1.0.jar jackson-mapper-asl-1.9.13-atlassian-4.jar metrics-graphite-3.1.5.jar aopalliance-repackaged-2.4.0-b34.jar jackson-module-jaxb-annotations-2.10.3.jar metrics-jmx-4.1.12.1.jar apache-log4j-extras-1.2.17.jar jackson-module-paranamer-2.11.4.jar metrics-json-3.1.5.jar arpack_combined_all-0.1.jar jackson-module-scala_2.11-2.11.4.jar metrics-jvm-3.1.5.jar arrow-format-0.12.0.jar jakarta.activation-api-1.2.1.jar minlog-1.3.0.jar arrow-memory-0.12.0.jar jakarta.xml.bind-api-2.3.2.jar mssql-jdbc-6.2.1.jre7.jar arrow-vector-0.12.0.jar janino-3.0.9.jar netty-all-4.1.51.Final.jar asm-5.0.4.jar java-util-1.9.0.jar nimbus-jose-jwt-8.19.jar audience-annotations-0.5.0.jar java-xmlbuilder-1.1.jar objenesis-2.5.1.jar automaton-1.11-8.jar javassist-3.18.1-GA.jar okhttp-3.14.9.jar avro-1.8.2.jar javax.annotation-api-1.2.jar okio-1.17.2.jar avro-ipc-1.8.2.jar javax.inject-1.jar opencsv-2.3.jar avro-mapred-1.8.2.jar javax.inject-2.4.0-b34.jar opencsv-4.6.jar java-sdk-bundle-1.11.856.jar javax.servlet-api-3.1.0.jar opencv-4.3.0-2.jar base64-2.3.8.jar javax.ws.rs-api-2.0.1.jar orc-core-1.6.8-nohive.jar bcpkix-jdk15on-1.66.jar javolution-5.3.1.jar orc-mapreduce-1.6.8-nohive.jar bcprov-jdk15on-1.67.jar jaxb-api-2.2.11.jar orc-shims-1.6.8.jar bonecp-0.8.0.RELEASE.jar jcip-annotations-1.0-1.jar oro-2.0.8.jar breeze-macros_2.11-0.13.2.jar jcl-over-slf4j-1.7.30.jar osgi-resource-locator-1.0.1.jar breeze_2.11-0.13.2.jar jdo-api-3.0.1.jar paranamer-2.8.jar calcite-avatica-1.2.0-incubating.jar jersey-client-2.23.1.jar parquet-column-1.12.2.jar chill-java-0.9.3.jar jersey-common-2.23.1.jar parquet-common-1.12.2.jar chill_2.11-0.9.3.jar jersey-container-servlet-2.23.1.jar parquet-encoding-1.12.2.jar commons-beanutils-1.9.4.jar jersey-container-servlet-core-2.23.1.jar parquet-format-structures-1.12.2.jar commons-cli-1.2.jar jersey-guava-2.23.1.jar parquet-hadoop-1.12.2.jar commons-codec-1.15.jar jersey-media-jaxb-2.23.1.jar parquet-hadoop-bundle-1.6.0.jar commons-collections-3.2.2.jar jersey-server-2.23.1.jar parquet-jackson-1.12.2.jar commons-collections4-4.2.jar jets3t-0.9.4.jar postgresql-42.2.14.jar commons-compiler-3.0.9.jar jettison-1.1.jar protobuf-java-2.5.0.jar commons-compress-1.4.1.jar jetty-http-9.4.34.v20201102.jar py4j-0.10.7.jar commons-configuration2-2.1.1.jar jetty-io-9.4.34.v20201102.jar pyrolite-4.13.jar commons-crypto-1.0.0-20191105.jar jetty-security-9.4.34.v20201102.jar re2j-1.1.jar commons-daemon-1.0.13.jar jetty-server-9.4.34.v20201102.jar scala-compiler-2.11.12.jar commons-dbcp2-2.7.0.jar jetty-servlet-9.4.34.v20201102.jar scala-library-2.11.12.jar commons-httpclient-3.1.jar jetty-util-9.4.34.v20201102.jar scala-parser-combinators_2.11-1.1.2.jar commons-io-2.5.jar jetty-util-ajax-9.4.34.v20201102.jar scala-reflect-2.11.12.jar commons-lang-2.6.jar jetty-webapp-9.4.34.v20201102.jar scala-xml_2.11-1.0.5.jar commons-lang3-3.5.jar jetty-xml-9.4.34.v20201102.jar secComponentApi-1.0.6.jar commons-logging-1.2.jar joda-time-2.9.3.jar shapeless_2.11-2.3.2.jar commons-math3-3.4.1.jar jodd-core-3.5.2.jar shims-0.7.45.jar commons-net-3.1.jar json-20200518.jar slf4j-api-1.7.30.jar commons-pool2-2.8.0.jar json-io-2.5.1.jar slf4j-log4j12-1.7.30.jar commons-text-1.3.jar json-sanitizer-1.2.1.jar snakeyaml-1.26.jar compress-lzf-1.0.3.jar json-smart-2.3.jar snappy-java-1.1.8.2.jar core-1.1.2.jar json4s-ast_2.11-3.5.3.jar solr-core-7.7.2.jar crypter-0.0.6.jar json4s-core_2.11-3.5.3.jar solr-solrj-7.7.2.jar curator-client-4.2.0.jar json4s-jackson_2.11-3.5.3.jar spark-avro_2.11-2.4.5.0100-2.0.0.dli-20220617.085536-9.jar curator-framework-4.2.0.jar json4s-scalap_2.11-3.5.3.jar spark-avro_2.11-4.0.0.jar curator-recipes-2.7.1.jar jsp-api-2.1.jar spark-catalyst_2.11-2.4.5.0100-2.0.0.dli-20220617.085405-16.jar datanucleus-api-jdo-3.2.6.jar jsr305-1.3.9.jar spark-core_2.11-2.4.5.0100-2.0.0.dli-20220617.085327-16.jar datanucleus-core-3.2.10.jar jta-1.1.jar spark-graphx_2.11-2.4.5.0100-.0.dli-20220617.085336-16.jar datanucleus-rdbms-3.2.9.jar jtransforms-2.4.0.jar spark-hive_2.11-2.4.5.0100-2.0.0.dli-20220617.085423-16.jar derby-10.14.2.0.jar jts-core-1.16.1.jar spark-kubernetes_2.11-2.4.5.0100-2.0.0.dli-20220617.085519-16.jar dnsjava-2.1.7.jar jul-to-slf4j-1.7.30.jar spark-kvstore_2.11-2.4.5.0100-2.0.0.dli-20220617.085249-16.jar ecj-3.21.0.jar junit-4.11.jar spark-launcher_2.11-2.4.5.0100-2.0.0.dli-20220617.085435-16.jar ehcache-3.3.1.jar kerb-admin-1.0.1.jar spark-mllib-local_2.11-2.4.5.0100-2.0.0.dli-20220617.085349-16.jar expiringmap-0.5.9.jar kerb-client-1.0.1.jar spark-mllib_2.11-2.4.5.0100-2.0.0.dli-20220617.085342-16.jar fastutil-8.2.3.jar kerb-common-1.0.1.jar spark-network-common_2.11-2.4.5.0100-2.0.0.dli-20220617.085254-16.jar flatbuffers-java-1.9.0.jar kerb-core-1.0.1.jar spark-network-shuffle_2.11-2.4.5.0100-2.0.0.dli-20220617.085300-16.jar fst-2.50.jar kerb-crypto-1.0.1.jar spark-om_2.11-2.4.5.0100-2.0.0.dli-20220617.085316-16.jar generex-1.0.2.jar kerb-identity-1.0.1.jar spark-repl_2.11-2.4.5.0100-2.0.0.dli-20220617.085430-16.jar geronimo-jcache_1.0_spec-1.0-alpha-1.jar kerb-server-1.0.1.jar spark-sketch_2.11-2.4.5.0100-2.0.0.dli-20220617.085243-16.jar gson-2.2.4.jar kerb-simplekdc-1.0.1.jar spark-sql_2.11-2.4.5.0100-2.0.0.dli-20220617.085414-16.jar guava-14.0.1.jar kerb-util-1.0.1.jar spark-streaming_2.11-2.4.5.0100-.0.dli-20220617.085359-16.jar guice-4.0.jar kerby-asn1-1.0.1.jar spark-tags_2.11-2.4.5.0100-2.0.0.dli-20220617.085322-16.jar guice-servlet-4.0.jar kerby-config-1.0.1.jar spark-unsafe_2.11-2.4.5.0100-2.0.0.dli-20220617.085311-16.jar hadoop-annotations-3.1.1-ei-302002.jar kerby-pkix-1.0.1.jar spark-uquery_2.11-2.4.5.0100-2.0.0.dli-SNAPSHOT.jar hadoop-auth-3.1.1-ei-302002.jar kerby-util-1.0.1.jar spark-yarn_2.11-2.4.5.0100-2.0.0.dli-20220617.085531-16.jar hadoop-3.1.1-ei-302002.jar kerby-xdr-1.0.1.jar spire-macros_2.11-0.13.0.jar hadoop-client-3.1.1-ei-302002.jar kryo-shaded-4.0.2.jar spire_2.11-0.13.0.jar hadoop-common-3.1.1-ei-302002.jar kubernetes-client-5.4.1-20211025.jar stax-api-1.0-2.jar hadoop-hdfs-3.1.1-ei-302002.jar kubernetes-model-admissionregistration-5.4.1-20211025.jar stax2-api-3.1.4.jar hadoop-hdfs-client-3.1.1-ei-302002.jar kubernetes-model-apiextensions-5.4.1-20211025.jar stream-2.7.0.jar hadoop-3.1.1-46.jar kubernetes-model-apps-5.4.1-20211025.jar stringtemplate-3.2.1.jar hadoop-mapreduce-client-common-3.1.1-ei-302002.jar kubernetes-model-autoscaling-5.4.1-20211025.jar threeten-extra-1.5.0.jar hadoop-mapreduce-client-core-3.1.1-ei-302002.jar kubernetes-model-batch-5.4.1-20211025.jar tink-1.6.0.jar hadoop-mapreduce-client-jobclient-3.1.1-ei-302002.jar kubernetes-model-certificates-5.4.1-20211025.jar token-provider-1.0.1.jar hadoop-minikdc-3.1.1-ei-302002.jar kubernetes-model-common-5.4.1-20211025.jar tomcat-api-9.0.39.jar hadoop-yarn-api-3.1.1-ei-302002.jar kubernetes-model-coordination-5.4.1-20211025.jar zookeeper-jute-3.5.6-ei-302002.jar hadoop-yarn-client-3.1.1-ei-302002.jar kubernetes-model-core-5.4.1-20211025.jar tomcat-el-api-9.0.39.jar hadoop-yarn-common-3.1.1-ei-302002.jar kubernetes-model-discovery-5.4.1-20211025.jar tomcat-jasper-9.0.39.jar hadoop-yarn-registry-3.1.1-ei-302002.jar kubernetes-model-events-5.4.1-20211025.jar tomcat-jasper-el-9.0.39.jar hadoop-yarn-server-applicationhistoryservice-3.1.1-ei-302002.jar kubernetes-model-extensions-5.4.1-20211025.jar tomcat-jsp-api-9.0.39.jar hadoop-yarn-server-common-3.1.1-ei-302002.jar kubernetes-model-flowcontrol-5.4.1-20211025.jar tomcat-juli-9.0.39.jar hadoop-yarn-server-resourcemanager-3.1.1-ei-302002.jar kubernetes-model-metrics-5.4.1-20211025.jar tomcat-servlet-api-9.0.39.jar hadoop-yarn-server-web-proxy-3.1.1-ei-302002.jar kubernetes-model-networking-5.4.1-20211025.jar tomcat-util-9.0.39.jar hamcrest-core-1.3.jar kubernetes-model-node-5.4.1-20211025.jar tomcat-util-scan-9.0.39.jar hive-common-1.2.1-2.0.0.dli-20220528.090500-402.jar kubernetes-model-policy-5.4.1-20211025.jar univocity-parsers-2.7.3.jar hive-exec-1.2.1-2.0.0.dli-20220528.090521-401.jar kubernetes-model-rbac-5.4.1-20211025.jar zstd-jni-1.4.9-1.jar hive-metastore-1.2.1-2.0.0.dli-20220528.090509-402.jar kubernetes-model-scheduling-5.4.1-20211025.jar validation-api-1.1.0.Final.jar hive-shims-0.23-1.2.1-2.0.0.dli-20220528.090445-403.jar kubernetes-model-storageclass-5.4.1-20211025.jar velocity-1.7.jar hive-shims-1.2.1-2.0.0.dli-20220528.090455-403.jar leveldbjni-all-1.8-20191105.jar woodstox-core-5.0.3.jar hive-shims-common-1.2.1-2.0.0.dli-20220528.090441-404.jar libfb303-0.9.3.jar xbean-asm6-shaded-4.8.jar hive-shims-scheduler-1.2.1-2.0.0.dli-20220528.090450-403.jar libthrift-0.12.0.jar xercesImpl-2.12.0.jar hk2-api-2.4.0-b34.jar log4j-1.2.17-cloudera1.jar xml-apis-1.4.01.jar hk2-locator-2.4.0-b34.jar log4j-rolling-appender-20131024-2017.jar xz-1.0.jar hk2-utils-2.4.0-b34.jar logging-interceptor-3.14.9.jar zjsonpatch-0.3.0.jar hppc-0.7.2.jar lucene-analyzers-common-7.7.2.jar zookeeper-3.5.6-ei-302002.jar htrace-core4-4.2.0-incubating-1.0.0.jar lucene-core-7.7.2.jar -

Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1.2.jar hive-shims-scheduler-3.1.0-h0.cbu.mrs.321.r10.jar metrics-graphite-4.1.1.jar activation-1.1.1.jar hive-spark-client-3.1.0-h0.cbu.mrs.321.r10.jar metrics-jmx-4.1.1.jar aggdesigner-algorithm-6.0.jar hive-standalone-metastore-3.1.0-h0.cbu.mrs.321.r10.jar metrics-json-4.1.1.jar aircompressor-0.16.jar hive-storage-api-2.7.2.jar metrics-jvm-4.1.1.jar algebra_2.12-2.0.0-M2.jar hive-vector-code-gen-3.1.0-h0.cbu.mrs.321.r10.jar minlog-1.3.0.jar annotations-17.0.0.jar hk2-api-2.6.1.jar netty-3.10.6.Final.jar ant-1.10.9.jar hk2-locator-2.6.1.jar netty-all-4.1.86.Final.jar ant-launcher-1.10.9.jar hk2-utils-2.6.1.jar netty-buffer-4.1.86.Final.jar antlr4-runtime-4.8-1.jar hppc-0.7.2.jar netty-codec-4.1.86.Final.jar antlr-runtime-3.5.2.jar httpclient-4.5.6.jar netty-codec-dns-4.1.86.Final.jar aopalliance-1.0.jar httpcore-4.4.10.jar netty-codec-haproxy-4.1.86.Final.jar aopalliance-repackaged-2.6.1.jar istack-commons-runtime-3.0.8.jar netty-codec-http2-4.1.86.Final.jar apiguardian-api-1.1.0.jar ivy-2.5.0.jar netty-codec-http-4.1.86.Final.jar arpack_combined_all-0.1.jar jackson-annotations-2.13.2.jar netty-codec-memcache-4.1.86.Final.jar arrow-format-2.0.0.jar jackson-core-2.13.2.jar netty-codec-mqtt-4.1.86.Final.jar arrow-memory-core-2.0.0.jar jackson-core-asl-1.9.13-atlassian-4.jar netty-codec-redis-4.1.86.Final.jar arrow-memory-netty-2.0.0.jar jackson-databind-2.13.2.2.jar netty-codec-smtp-4.1.86.Final.jar arrow-vector-2.0.0.jar jackson-dataformat-yaml-2.13.2.jar netty-codec-socks-4.1.86.Final.jar asm-5.0.4.jar jackson-datatype-jsr310-2.11.2.jar netty-codec-stomp-4.1.86.Final.jar audience-annotations-0.5.0.jar jackson-mapper-asl-1.9.13-atlassian-4.jar netty-codec-xml-4.1.86.Final.jar automaton-1.11-8.jar jackson-module-jaxb-annotations-2.13.2.jar netty-common-4.1.86.Final.jar avatica-1.22.0.jar jackson-module-scala_2.12-2.13.2.jar netty-handler-4.1.86.Final.jar avatica-core-1.16.0.jar jaeger-client-1.6.0.jar netty-handler-proxy-4.1.86.Final.jar avatica-metrics-1.16.0.jar jaeger-core-1.6.0.jar netty-handler-ssl-ocsp-4.1.86.Final.jar avatica-server-1.16.0.jar jaeger-thrift-1.6.0.jar netty-resolver-4.1.86.Final.jar avro-1.8.2.jar jaeger-tracerresolver-1.6.0.jar netty-resolver-dns-4.1.86.Final.jar avro-ipc-1.8.2.jar jakarta.activation-api-1.2.1.jar netty-resolver-dns-classes-macos-4.1.86.Final.jar avro-mapred-1.8.2.jar jakarta.annotation-api-1.3.5.jar netty-resolver-dns-native-macos-4.1.86.Final-osx-aarch_64.jar java-sdk-bundle-1.11.856.jar jakarta.el-3.0.3.jar netty-resolver-dns-native-macos-4.1.86.Final-osx-x86_64.jar base64-2.3.8.jar jakarta.el-api-3.0.3.jar netty-transport-4.1.86.Final.jar bcpkix-jdk15on-1.69.jar jakarta.inject-2.6.1.jar netty-transport-classes-epoll-4.1.86.Final.jar bcprov-jdk15on-1.69.jar jakarta.servlet-api-4.0.3.jar netty-transport-classes-kqueue-4.1.86.Final.jar bcutil-jdk15on-1.69.jar jakarta.validation-api-2.0.2.jar netty-transport-native-epoll-4.1.86.Final-linux-aarch_64.jar bonecp-0.8.0.RELEASE.jar jakarta.ws.rs-api-2.1.6.jar netty-transport-native-epoll-4.1.86.Final-linux-x86_64.jar breeze_2.12-1.0.jar jakarta.xml.bind-api-2.3.2.jar netty-transport-native-kqueue-4.1.86.Final-osx-aarch_64.jar breeze-macros_2.12-1.0.jar jamon-runtime-2.4.1.jar netty-transport-native-kqueue-4.1.86.Final-osx-x86_64.jar caffeine-2.8.1.jar janino-3.0.16.jar netty-transport-native-unix-common-4.1.86.Final.jar calcite-core-1.22.0.jar JavaEWAH-0.3.2.jar netty-transport-rxtx-4.1.86.Final.jar calcite-druid-1.19.0.jar java-sdk-core-3.0.12.jar netty-transport-sctp-4.1.86.Final.jar calcite-linq4j-1.22.0.jar javassist-3.25.0-GA.jar netty-transport-udt-4.1.86.Final.jar cats-kernel_2.12-2.0.0-M4.jar javax.activation-api-1.2.0.jar nimbus-jose-jwt-8.19.jar checker-qual-3.5.0.jar javax.annotation-api-1.3.2.jar objenesis-2.5.1.jar chill_2.12-0.9.5.jar javax.inject-1.jar okhttp-3.14.9.jar chill-java-0.9.5.jar javax.jdo-3.2.0-m3.jar okio-1.17.2.jar classmate-1.5.1.jar java-xmlbuilder-1.1.jar opencsv-2.3.jar commons-beanutils-1.9.4.jar javax.servlet-api-3.1.0.jar opentelemetry-api-1.16.0.jar commons-cli-1.2.jar javax.transaction-api-1.3.jar opentelemetry-context-1.16.0.jar commons-codec-1.15.jar javax.ws.rs-api-2.1.1.jar opentelemetry-semconv-1.16.0-alpha.jar commons-collections-3.2.2.jar javolution-5.5.1.jar opentracing-api-0.33.0.jar commons-compiler-3.0.16.jar jaxb-api-2.2.11.jar opentracing-noop-0.33.0.jar commons-compress-1.21.jar jaxb-runtime-2.3.2.jar opentracing-tracerresolver-0.1.8.jar commons-configuration2-2.1.1.jar jboss-logging-3.4.1.Final.jar opentracing-util-0.33.0.jar commons-crypto-1.0.0-20191105.jar jboss-threads-2.3.3.Final.jar orc-core-1.6.8.jar commons-daemon-1.0.13.jar jcip-annotations-1.0-1.jar orc-mapreduce-1.6.8.jar commons-dbcp-1.4.jar jcl-over-slf4j-1.7.36.jar orc-shims-1.6.8.jar commons-dbcp2-2.6.0.jar jcodings-1.0.57.jar orc-tools-1.6.7-h0.cbu.mrs.321.r10.jar commons-digester-2.1.jar jdo-api-3.2.jar oro-2.0.8.jar commons-httpclient-3.1.jar jersey-client-2.34.jar osgi-resource-locator-1.0.3.jar commons-io-2.8.0.jar jersey-common-2.34.jar paranamer-2.8.jar commons-lang-2.4.jar jersey-container-servlet-2.34.jar parquet-column-1.12.2.jar commons-lang-2.6.jar jersey-container-servlet-core-2.34.jar parquet-common-1.12.2.jar commons-lang3-3.10.jar jersey-hk2-2.34.jar parquet-encoding-1.12.2.jar commons-logging-1.2.jar jersey-server-2.34.jar parquet-format-structures-1.12.2.jar commons-math3-3.4.1.jar jets3t-0.9.4-1.0.0.jar parquet-hadoop-1.12.2.jar commons-net-3.1.jar jettison-1.1.jar parquet-hadoop-bundle-1.12.0-ei-2.0.jar commons-pool2-2.6.1.jar jetty-http-9.4.41.v20210516.jar parquet-jackson-1.12.2.jar commons-text-1.10.0.jar jetty-io-9.4.41.v20210516.jar postgresql-42.3.5.jar commons-validator-1.7.jar jetty-rewrite-9.4.43.v20210629.jar protobuf-java-2.5.0.jar compress-lzf-1.0.3.jar jetty-security-9.4.41.v20210516.jar py4j-0.10.9.jar core-1.1.2.jar jetty-server-9.4.41.v20210516.jar pyrolite-4.30.jar curator-client-2.13.0.jar jetty-servlet-9.4.41.v20210516.jar re2j-1.1.jar curator-framework-2.13.0.jar jetty-util-9.4.41.v20210516.jar RoaringBitmap-0.9.0.jar curator-recipes-2.13.0.jar jetty-util-ajax-9.4.41.v20210516.jar scala-collection-compat_2.12-2.1.1.jar datanucleus-api-jdo-4.2.4.jar jetty-webapp-9.4.41.v20210516.jar scala-compiler-2.12.16.jar datanucleus-core-4.1.17.jar jetty-xml-9.4.41.v20210516.jar scala-library-2.12.16.jar datanucleus-rdbms-fi-4.1.19-302022.jar JLargeArrays-1.5.jar scala-parser-combinators_2.12-1.1.2.jar derby-10.14.2.0.jar jline-3.21.0.jar scala-reflect-2.12.16.jar disruptor-3.4.2.jar joda-time-2.10.5.jar scala-xml_2.12-1.2.0.jar dli-catalog-client-2.3.7-20240108.090504-101.jar jodd-core-3.5.2.jar secComponentApi-1.1.8.jar dli-catalog-hive3-client-2.3.7-20240108.090513-100.jar jodd-util-6.0.0.jar serializer-2.7.2.jar dli-catalog-hive-extension-2.3.7-20240108.090517-100.jar joni-2.1.43.jar shapeless_2.12-2.3.3.jar dnsjava-2.1.7.jar jpam-1.1.jar shims-0.9.0.jar dropwizard-metrics-hadoop-metrics2-reporter-0.1.2.jar jsch-0.1.72.jar sketches-core-0.9.0.jar error_prone_annotations-2.18.0.jar json-20210307.jar slf4j-api-1.7.30.jar esdk-obs-java-optimised-3.22.10.2.jar json4s-ast_2.12-3.7.0-M5.jar slf4j-log4j12-1.7.25.jar esri-geometry-api-2.2.0.jar json4s-core_2.12-3.7.0-M5.jar snakeyaml-1.30.jar fastutil-6.5.6.jar json4s-jackson_2.12-3.7.0-M5.jar snappy-java-1.1.8.2.jar flatbuffers-java-1.9.0.jar json4s-scalap_2.12-3.7.0-M5.jar spark-avro_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar generex-1.0.2.jar json-path-2.4.0.jar spark-catalyst_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar glassfish-corba-omgapi-4.2.2.jar json-smart-2.3.jar spark-core_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar gson-2.8.9.jar jsr305-3.0.0.jar spark-graphx_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar gson-fire-1.8.5.jar JTransforms-3.1.jar spark-hive_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guava-14.0.1.jar jul-to-slf4j-1.7.36.jar spark-kubernetes_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guice-3.0.jar kafka-clients-2.8.0.jar spark-kvstore_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guice-assistedinject-3.0.jar kerb-admin-2.0.2.jar spark-launcher_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guice-servlet-4.0.jar kerb-client-2.0.2.jar spark-mllib_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-annotations-3.1.1-h0.cbu.mrs.313.r9.jar kerb-common-2.0.2.jar spark-mllib-local_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-archives-3.3.1-h0.cbu.mrs.321.r10.jar kerb-core-2.0.2.jar spark-network-common_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-auth-3.3.1-h0.cbu.mrs.321.r16.jar kerb-crypto-2.0.2.jar spark-network-shuffle_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-3.3.1-h0.cbu.mrs.321.r16.jar kerb-identity-2.0.2.jar spark-quota-manager_2.12-3.1.1-2.3.7.dli-SNAPSHOT.jar hadoop-client-3.1.1-h0.cbu.mrs.313.r9.jar kerb-server-2.0.2.jar spark-repl_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-common-3.3.1-h0.cbu.mrs.321.r10.jar kerb-simplekdc-2.0.2.jar spark-sketch_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-distcp-3.3.1-h0.cbu.mrs.321.r10.jar kerb-util-2.0.2.jar spark-sql_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-hdfs-3.3.1-h0.cbu.mrs.321.r16.jar kerby-asn1-2.0.2.jar spark-streaming_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-hdfs-client-3.3.1-h0.cbu.mrs.321.r10.jar kerby-config-2.0.2.jar spark-tags_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-3.1.1-52.1.jar kerby-pkix-2.0.2.jar spark-unsafe_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-mapreduce-client-common-3.1.1-h0.cbu.mrs.313.r9.jar kerby-util-2.0.2.jar spark-uquery_2.12-3.1.1-2.3.7.dli-SNAPSHOT.jar hadoop-mapreduce-client-core-3.1.1-h0.cbu.mrs.313.r9.jar kerby-xdr-2.0.2.jar spire_2.12-0.17.0-M1.jar hadoop-mapreduce-client-jobclient-3.1.1-h0.cbu.mrs.313.r9.jar kotlin-stdlib-1.4.21.jar spire-macros_2.12-0.17.0-M1.jar hadoop-mapreduce-client-nativetask-3.3.1-h0.cbu.mrs.321.r10.jar kotlin-stdlib-common-1.4.21.jar spire-platform_2.12-0.17.0-M1.jar hadoop-registry-3.3.1-h0.cbu.mrs.321.r10.jar kryo-shaded-4.0.2.jar spire-util_2.12-0.17.0-M1.jar hadoop-shaded-guava-1.1.1.jar kubernetes-client-5.4.1-20211025.jar sqlline-1.3.0.jar hadoop-shaded-protobuf_3_7-1.1.1.jar kubernetes-model-admissionregistration-5.4.1-20211025.jar ST4-4.0.4.jar hadoop-yarn-api-3.1.1-h0.cbu.mrs.313.r9.jar kubernetes-model-apiextensions-5.4.1-20211025.jar stax2-api-4.2.1.jar hadoop-yarn-client-3.1.1-h0.cbu.mrs.313.r9.jar kubernetes-model-apps-5.4.1-20211025.jar stax-api-1.0.1.jar hadoop-yarn-registry-3.3.1-h0.cbu.mrs.321.r10.jar kubernetes-model-autoscaling-5.4.1-20211025.jar stream-2.9.6.jar hbase-asyncfs-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-batch-5.4.1-20211025.jar streamingClient hbase-client-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-certificates-5.4.1-20211025.jar streamingClient010 hbase-common-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-common-5.4.1-20211025.jar swagger-annotations-2.2.8.jar hbase-hadoop2-compat-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-coordination-5.4.1-20211025.jar tephra-api-0.6.0.jar hbase-hadoop-compat-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-core-5.4.1-20211025.jar tephra-core-0.6.0.jar hbase-http-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-discovery-5.4.1-20211025.jar tephra-hbase-compat-1.0-0.6.0.jar hbase-logging-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-events-5.4.1-20211025.jar threetenbp-1.3.5.jar hbase-metrics-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-extensions-5.4.1-20211025.jar threeten-extra-1.5.0.jar hbase-metrics-api-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-flowcontrol-5.4.1-20211025.jar tink-1.6.0.jar hbase-procedure-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-metrics-5.4.1-20211025.jar token-provider-2.0.2.jar hbase-protocol-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-networking-5.4.1-20211025.jar tomcat-servlet-api-8.5.61.jar hbase-protocol-shaded-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-node-5.4.1-20211025.jar transaction-api-1.1.jar hbase-replication-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-policy-5.4.1-20211025.jar twill-api-0.6.0-incubating.jar hbase-server-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-rbac-5.4.1-20211025.jar twill-common-0.6.0-incubating.jar hbase-shaded-gson-4.1.4.jar kubernetes-model-scheduling-5.4.1-20211025.jar twill-core-0.6.0-incubating.jar hbase-shaded-jersey-4.1.4.jar kubernetes-model-storageclass-5.4.1-20211025.jar twill-discovery-api-0.6.0-incubating.jar hbase-shaded-jetty-4.1.4.jar leveldbjni-all-1.8-20191105.jar twill-discovery-core-0.6.0-incubating.jar hbase-shaded-miscellaneous-4.1.4.jar libfb303-0.9.3.jar twill-zookeeper-0.6.0-incubating.jar hbase-shaded-netty-4.1.4.jar libthrift-0.14.1-ei-311001.jar univocity-parsers-2.9.1.jar hbase-shaded-protobuf-4.1.4.jar log4j-1.2.17-cloudera1.jar us-common-1.0.66.jar hbase-unsafe-4.1.4.jar log4j-api-2.17.1.jar velocity-1.7.jar hbase-zookeeper-2.4.14-h0.cbu.mrs.321.r10.jar log4j-rolling-appender-20131024-2017.jar velocity-engine-core-2.3.jar hibernate-validator-6.2.5.Final.jar logging-interceptor-3.14.9.jar wildfly-client-config-1.0.1.Final.jar HikariCP-2.6.1.jar luxor-cluster-quota-manager-transport_2.12-2.3.7-20231226.034700-559.jar wildfly-common-1.5.2.Final.jar hive-classification-3.1.0-h0.cbu.mrs.321.r10.jar luxor-encrypt-2.3.7-20231226.034423-1046.jar woodstox-core-5.4.0.jar hive-common-3.1.0-h0.cbu.mrs.321.r10.jar luxor-fs3-2.3.7-20231226.034438-1039.jar xalan-2.7.2.jar hive-exec-3.1.0-h0.cbu.mrs.321.r10-core.jar luxor-obs-fs3-2.3.7-20231226.034443-1038.jar xbean-asm7-shaded-4.15.jar hive-llap-client-2.3.3-ei-12-20210120.005053-2.jar luxor-rpc_2.12-2.3.7-20231226.034653-560.jar xercesImpl-2.12.2.jar hive-llap-common-3.1.0-h0.cbu.mrs.321.r10.jar luxor-scc-adapter-2.3.7-20231226.034418-1045.jar xml-apis-1.4.01.jar hive-llap-tez-3.1.0-h0.cbu.mrs.321.r10.jar luxor-transport-2.3.7-20231226.034433-1038.jar xnio-api-3.8.4.Final.jar hive-metastore-3.1.0-h0.cbu.mrs.321.r10.jar lz4-java-1.7.1.jar xz-1.5.jar hive-serde-3.1.0-h0.cbu.mrs.321.r10.jar machinist_2.12-0.6.8.jar zjsonpatch-0.3.0.jar hive-service-rpc-3.1.0-h0.cbu.mrs.321.r10.jar macro-compat_2.12-1.1.1.jar zookeeper-3.5.6-ei-302002.jar hive-shims-0.23-3.1.0-h0.cbu.mrs.321.r10.jar memarts-ccsdk-1.0.jar zookeeper-jute-3.5.6-ei-302002.jar hive-shims-3.1.0-h0.cbu.mrs.321.r10.jar memory-0.9.0.jar zstd-jni-1.4.9-1.jar hive-shims-common-3.1.0-h0.cbu.mrs.321.r10.jar metrics-core-4.1.1.jar -

使用场景 包年包月的弹性资源池CU数在规格（包周期CU）的范围内使用包年包月计费，超过规格（包周期CU）的部分则按弹性资源池CU时计费的方式计费，您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如，当前弹性资源池的规格（包周期CU）为64CU，实际使用过程中大部分时间CU数在128CU以上，没有规格变更的场景下64CU部分采用包年包月计费，超出的64CU按弹性资源池CU时计费方式计费。为了满足该场景下更优惠的计费，则可以通过规格变更的方式，将弹性资源池的规格扩大到128CU，则规格变更成功后128CU范围内都使用包年包月计费，整体相比原来更优惠。 弹性资源池规格不满足当前业务需求时，可以通过“包周期CU变更”功能修改当前弹性资源池的规格。

静态流图 在OpenSource SQL作业编辑页面，单击“静态流图”按钮即可展示。 仅Flink 1.12和Flink 1.10版本支持查看简化流图。 Flink Opensource SQL作业中使用自定义函数时，不支持生成静态流图。 “静态流图”页面还支持以下功能： 支持资源预估。通过单击“静态流图”页面中的“资源预估”按钮，可进行资源预估。单击“恢复初始值”按钮，可在资源预估后恢复初始值。 支持展示页面缩放。 支持根据算子链展开/合并。 支持编辑“并行数”，“流量”和“命中率”。 并行数：一个任务的并发数。 流量：算子的数据流量，单位：条/s。 命中率：数据经过算子处理之后的保留率。命中率=算子的数据流出量/流入量，单位：%。 图5 静态流图

CU设置时怎样调小CU范围最大值？ 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs，如果想要调整的CU范围的最大值小于当前CUs，需要先调小实际CUs。 包年包月计费模式的弹性资源池，通过调小当前弹性资源池中队列的最大CU或删除队列，以调小弹性资源池的实际CUs，再通过变更弹性资源池规格，将规格调整至小于等于目标CUs，此时实际CUs等于规格，再通过CU设置，调整CU范围的最小值等于目标CUs。 按需计费模式的弹性资源池，通过调整当前弹性资源池中队列的最大CU或删除队列，以调小弹性资源池的实际CUs，再通过CU设置，调整CU范围的最小值等于目标CUs。 示例 示例1：包年包月弹性资源池，实际CUs：96CUs、CU范围：64CUs - 128CUs、规格96。计划调整CU范围：64CUs - 80CUs。 操作步骤： 通过调小当前弹性资源池中队列的最大CU或删除队列，以调小弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和小于弹性资源池的实际CUs时，会触发弹性资源池缩容，缩容后的实际CUs= min（队列的最大CU和，弹性资源池CU范围最大值）。 通过“规格变更”将弹性资源池规格调整为80CUs，规格变更后，CU范围的最小值自动调整为与规格一致大小的CU。 示例2：按需计费的弹性资源池，实际CUs：96CUs、CU范围：64CUs - 128CUs、计划调整CU范围：64CUs - 80CUs。 操作步骤： 通过调小当前弹性资源池中队列的最大CU或删除队列，以调小弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和小于弹性资源池的实际CUs时，会触发弹性资源池缩容，缩容后的实际CUs= min（队列的最大CU和，弹性资源池CU范围最大值）。 通过“CU设置”调整CU范围：64CUs - 80CUs。 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置，均在下一个整点生效。 通过增加队列调整弹性资源池的实际CUs，立即生效。

CU设置时怎样调大CU范围最小值？ 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs，如果想要调整的CU范围的最小值大于当前CUs，需要先调大实际CUs。 以下操作适用于目标CU小于等于CU范围的最大值。目标CU大于CU范围最大值时，请先调大弹性资源池的最大CU。 包年包月计费模式的弹性资源池，通过调整当前弹性资源池中队列的最大CU或增加队列，以增大弹性资源池的实际CUs，再通过变更弹性资源池规格，将规格调整至大于等于目标CUs，此时实际CUs等于规格，再通过CU设置，调整CU范围的最小值等于目标CUs。 按需计费模式的弹性资源池，通过调整当前弹性资源池中队列的最大CU或增加队列，以增大弹性资源池的实际CUs，再通过CU设置，调整CU范围的最小值等于目标CUs。 示例 示例1：包年包月弹性资源池，实际CUs：64CUs、CU范围：64CUs - 96CUs、规格64。计划调整CU范围：80CUs - 96CUs。 操作步骤： 通过调整当前弹性资源池中队列的最大CU或增加队列，以增大弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和大于弹性资源池的实际CUs时，会触发弹性资源池扩容，扩容后的实际CUs= min（队列的最大CU和，弹性资源池CU范围最大值）。 通过“规格变更”将弹性资源池规格调整为80CUs，规格变更后，CU范围的最小值自动调整为与规格一致大小的CU。 示例2：按需计费的弹性资源池，实际CUs：64CUs、CU范围：64CUs - 96CUs。计划调整CU范围：80CUs - 96CUs。 操作步骤： 通过调整当前弹性资源池中队列的最大CU或增加队列，以增大弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和大于弹性资源池的实际CUs时，会触发弹性资源池扩容，扩容后的实际CUs= min（队列的最大CU和，弹性资源池CU范围最大值）。 通过“CU设置”调整CU范围：80CUs - 96CUs。 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置，均在下一个整点生效。 通过增加队列调整弹性资源池的实际CUs，立即生效。

回收某用户或项目具备的所有权限 回收某用户具备的所有权限，或回收某项目具备的所有权限。 在“用户权限信息”区域的用户列表中，选择需要回收权限的子用户，在“操作”栏中单击“回收”，确定后，此用户将不具备表的任意权限。 以下情况中，“回收”为灰色，表示不可回收该用户的权限。 用户为管理员用户 子用户是表的所有者 子用户只有可继承权限 在“项目权限信息”区域的项目列表中，选择需要回收权限的项目，在“操作”栏中单击“回收”，确定后，此项目将不具备表的任意权限。 当项目只有可继承权限时，“回收”为灰色，表示不可回收该项目的权限。

为已有权限的用户或项目修改权限 某用户或项目已具备此表的一些权限时，可为此用户或项目赋予或回收权限。 当“权限设置”中的选项为灰色时，表示您不具备修改此表的权限。可以向管理员用户、表所有者等具有赋权权限的用户申请表的“赋权”和表权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户： 如果用户为子用户且不是表的所有者，可进行“权限设置”。 若用户为管理员用户或表的所有者，只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目，进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”，可弹出表“权限设置”对话框。 DLI表用户或项目权限说明请参考表1。 OBS表用户或项目权限说明请参考表2。 View用户或项目权限说明请参考表3。 单击“确定”，完成表权限设置。

注意事项 如果需要查看主账号下数据库中的表，需要对当前子账号用户授权（显示权限），具体请参考常用操作与系统权限关系。 如果表被删除后，再重新创建同名的表，表权限不会继承，需要对操作该表的用户和项目重新进行权限赋予。 例如，testTable表给用户A赋予了删除表的权限，后续执行了删除testTable表，并重新创建了testTable表。如果希望A用户继续保留删除testTable表的权限，则需要重新对A用户赋予该权限。

为新用户或项目赋予权限 为新用户或项目赋予权限，新用户或项目指之前不具备此表任何权限的用户或项目。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 DLI表具体权限说明请参考表1。 图2 DLI表用户授权 图3 DLI表项目授权 表1 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明： 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明： 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权，取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括： 查询表：在当前表内查询数据。 显示表信息：显示当前表的信息。 显示创建表语句：显示当前表的创建语句。 删除表：删除当前表。 重命名表：对当前表重新命名。 插入：在当前表内插入数据。 重写：在当前表内插入覆盖数据。 添加列：在当前表中增加列。 赋权：当前用户可将表的权限赋予其他用户。 回收：当前用户可回收其他用户具备的此表的权限，并且不能回收表所有者的权限。 查看其他用户具备的权限：查看其他用户具备的当前表的权限。 分区表还具有以下权限： 删除分区：删除分区表中的分区。 显示所有分区：显示分区表中的所有分区。 只适用于“用户授权”的权限包括： 显示表：显示当前表。 OBS表具体权限说明请参考表2。 图4 OBS表用户授权 图5 OBS表项目授权 表2 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明： 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明： 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权，取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括： 显示创建表语句：显示当前表的创建语句。 显示表信息：显示当前表的信息。 查询表：在当前表内查询数据。 删除表：删除当前表。 重命名表：对当前表重新命名。 插入：在当前表内插入数据。 重写：在当前表内插入覆盖数据。 添加列：在当前表中增加列。 赋权：当前用户可将表的权限赋予其他用户或项目。 回收：当前用户或项目可回收其他用户或项目具备的此表的权限，并且不能回收表所有者的权限。 查看其他用户具备的权限：查看其他用户具备的当前表的权限。 分区表还具有以下权限： 添加分区：在分区表中添加新的分区。 删除分区：删除分区表中的任意分区。 设置分区的路径：将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区：对分区表中的分区重新命名。 恢复表分区：从文件系统中导出分区信息保存到元数据中。 显示所有分区：显示分区表中的所有分区。 只适用于“用户授权”的权限包括： 显示表：显示当前表。 View具体权限说明请参考表3。 View只能通过SQL语句进行创建，不能通过“创建表”页面进行创建。 图6 View用户授权 图7 View项目授权 表3 参数配置 参数 描述 授权选择 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明： 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明： 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权，取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括： 显示表信息：显示当前表的信息。 显示创建表语句：显示当前表的创建语句。 删除表：删除当前表。 查询表：在当前表内查询数据。 重命名表：对当前表重新进行命名。 赋权：当前用户或项目可将表的权限赋予其他用户或项目。 回收：当前用户或项目可回收其他用户或项目具备的此表的权限，并且不能回收表所有者的权限。 查看其他用户具备的权限：查看其他用户具备的当前表的权限。 只适用于 显示表：显示当前表。 单击“确定”，完成表权限设置。