检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
ClickHouse 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中，表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级
U，队列B分配64CU，剩余CU数为0CU：弹性资源池的最大CU-两个队列的最小CU之和=96-32-64=0CU。 因为剩余的CU数已经没有，则停止分配。 弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下： 队列A扩缩容策略
100：表示High 查看Flink作业任务列表 用户可以查看作业运行时每个任务的详细信息，例如任务的开始时间、收发字节数和运行时长等。 如果数据为零，表示没有从数据源接收到数据。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。
行（Rows）表格中的行，每一行包含一组字段值，表中行以'\n'结束（注意，只支持用'\n'作为行分隔符）。 NULL表示缺少值或未知值的特殊值。在表格中，NULL表示该字段没有值或该值未知。如果数据中存在null值，则用字符串“null”表示。 1 2 3 4 5 6 7 8 9 10 11 CREATE
doublef')") ZKHost、RowKey、Cols三个参数详情讲解可参考表1。 TableName：CloudTable中的表名，在保存时如果没有表名，系统会自动创建。 构造schema 1 2 3 4 5 6 7 8 9 schema = StructType([StructField("id"
N主题与消息模板来发送告警通知。 创建指标告警规则。 通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警，当没有指标数据上报时产生数据不足事件。 AOM创建指标告警规则可分为两种：按全量指标创建、按Prometheus命令创建。 本例以按全量指标创建的方式为例。
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点，“false”表示作业没有保存点。 user_id 否 String 作业所属用户标识。 “show_detail”为“true”时独有。 project_id 否
的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点，“false”表示作业没有保存点。 edge_group_ids 否 Array of Strings 边缘计算组ID列表。多个ID以逗号分隔。 restart_times
Optimization upon Read 当满足以下条件时，Flink 会自动对 Hive 表进行矢量化读取： 格式：ORC 或 Parquet。 没有复杂数据类型的列，如配置单元类型：List、Map、Struct、Union。 默认情况下，此功能处于启用状态。可以使用以下配置禁用它。 table
约束与限制 弹性资源池约束限制 更多弹性资源池约束限制请参考弹性资源池使用约束限制。 表1 弹性资源池约束限制 限制项 说明 资源规格 当前弹性资源池最大的计算资源 32000CUs。 弹性资源池中可创建队列的最小CU： 通用队列：4CUs SQL队列：Spark SQL队列：8CUs；HetuEngine
er_info”表。 读取方式 当前示例选择为：HDFS。具体参数含义如下： 包括HDFS和JDBC两种读取方式。默认为HDFS方式，如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求，选择HDFS方式即可。 HDFS文件方式读取数据时，性能较好，但不支持使用W
其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型没有限制，具体请参考创建程序包。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中，“fileName”为需要访问的文件名，“ClassName”为需要访问该文件的类名。
Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是
string变成了namespace: string。 其中对于内置catalog，namespace字段被命名为database；对于v2 catalog没有isTemporary字段。 如果你希望在Spark 3.3.x版本中恢复到Spark 2.4.x版本的样式，可以通过将spark.sql
LINES：表格中的行，每一行包含一组字段值，表中行以'\n'结束（注意，只支持用'\n'作为行分隔符）。 NULL：表示缺少值或未知值的特殊值。在表格中，NULL表示该字段没有值或该值未知。如果数据中存在null值，则用字符串“null”表示。 1 2 3 4 5 6 7 8 9 10 11 12
如果作业运行失败，单击“操作”列“更多”下的“Driver日志”，显示具体的报错日志信息，根据报错信息定位问题原因。 例如，如下截图信息因为创建Spark Jar作业时主类名没有包含包路径，报找不到类名“SparkDemoObs”。 图17 报错信息 可以在“操作”列，单击“编辑”，修改“主类”参数为正确的：com
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务，您可以在Maven获取JDBC安装包，或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为：jdbc:dli://<endPoi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
