检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业名称。长度限制：1-57个字符。 desc 否 String 作业描述。长度限制：0-512个字符。 template_id 否 Integer 模板ID。 如果“template_id”和“sql_body”都不为空，优先选择“sql_body”的内容；如果“template_id”不
设置实例的登录密码。 - 管理员账号 root root 管理员密码 设置管理员密码。 - 参数模板 数据库参数模板就像是数据库引擎配置值的容器，参数模板中的参数可应用于一个或多个相同类型的数据库实例。 系统默认模板：Default-MySQL-5.7 表名大小写 配置表名不区分大小写。 不区分大小写
dynamicPartitionPruning.enabled true 该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。
initial String 消费数据时的启动模式。 initial（默认）：在第一次启动时，会先扫描历史全量数据，然后读取最新的Binlog数据。 latest-offset：在第一次启动时，不会扫描历史全量数据，直接从Binlog的末尾（最新的Binlog处）开始读取，即只读取该Connector启动以后的最新变更。
getBatchJobLog - GET /v2.0/{project_id}/batches/{batch_id}/log Flink作业模板相关 表7 Flink作业模板相关API&SDK的对应关系表 Class Java Method Python Method API Template c
initial String 消费数据时的启动模式。 initial（默认）：在第一次启动时，会先扫描历史全量数据，然后读取最新的Binlog数据。 latest-offset：在第一次启动时，不会扫描历史全量数据，直接从Binlog的末尾（最新的Binlog处）开始读取，即只读取该Connector启动以后的最新变更。
与该队列绑定的计算单元数，即当前队列的CU数。 charging_mode 否 Integer 队列的收费模式。 0：系统默认default队列。按照扫描量计费。 1：表示按照CU时收费。 2：表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 enterprise_project_id
关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache.ttl 60 min Duration 查找连接中构建表的缓存
DLI是否存在Apache Spark 命令注入漏洞（CVE-2022-33891）？ 不存在。 DLI没有启动spark.acls.enable配置项，所以不涉及Apache Spark 命令注入漏洞（CVE-2022-33891）。 该漏洞主要影响在启用了ACL（访问控制列表
IEF系统事件上报（废弃） 功能介绍 该API用于处理IEF系统事件上报。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/system-events 参数说明
查询所有数据库（废弃） 功能介绍 该API用于查询出所有的数据库信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases 参数说明 表1 URI参数 参数名称
更新管理 更新漏洞 DLI云服务通过华为云安全公告密切跟踪漏洞，如Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。
Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是
dynamicPartitionPruning.enabled true 该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。
文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
64CUs队列不支持缩容。 约束限制 DLI服务预置了名为“default”的队列供用户体验，资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 队列类型： SQL类型队列：SQL队列支持提交Spark SQL作业。 通用队列：支持Spark程序、Flink
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系，您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant
行数据查询和分析。 DLI服务架构：Serverless DLI是无服务器化的大数据查询分析服务，其优势在于： 按量计费：真正的按使用量（扫描量/CU时）计费，不运行作业时0费用。 自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web
按月重置。 队列使用约束限制 DLI服务预置了名为“default”的队列供用户体验，资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 队列类型： SQL类型队列：SQL队列支持提交Spark SQL作业。 通用队列：支持Spark程序、Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
