检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改，如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致，可能会因为varchar类型不兼容，导致视图查询失败。 例如：使用Spark 3.x版本创建的表，建议您使用Spark 2.x创建相应的视图。 示例 先通过对stud
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
项目编号，用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID，采用UUID（通用唯一识别码）格式。 state 否 String 批处理作业的状态，请参见创建批处理作业中的表7。
到数据怎么办？ 为什么insert overwrite覆盖分区表数据的时候，覆盖了全量数据？ 跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ SQL作业执行完成后，修改表名导致datasize不正确怎么办？ 从DLI导入数据到OBS，数据量不一致怎么办？
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数
建议对流批业务实施资源池的精细化管理，将Flink实时流类型的作业与SQL批处理类型的作业分别置于独立的弹性资源池中。 优势在于：Flink实时流任务具有常驻运行的特质，确保其稳定运行而不会强制缩容，进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容，显著提升扩缩容的成功率和操作效率。
中NULL代表未知。优先级顺序为：NOT>AND>OR。 运算规则请参见表1，表中的A和B代表逻辑表达式。 表1 逻辑运算符 运算符 返回类型 描述 A AND B BOOLEAN 若A与B都为TRUE则返回TRUE，否则返回FALSE。若A或B为NULL，则返回NULL。 A OR
构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。 说明： 以“ISO 8601”格式
执行时间。 或者在“队列管理”页面，查看“规格”大小是否改变来判断是否扩缩容成功。 或者在“作业管理”页面，查看“SCALE_QUEUE”类型作业的状态，如果作业状态为“规格变更中”，表示队列正在扩缩容中。 修改弹性扩缩容定时任务 如果设定的定时任务不再满足业务需求，可以在“弹性
ORC升级到1.5.12。 【SPARK-33092】：增强子表达式消减。 【SPARK-33480】：支持char/varchar数据类型。 【SPARK-32302】: 部分谓词下推优化。 【SPARK-30648】：支持JSON datasource表谓词下推。 【SPARK-32346】：支持avro
开启或关闭数据多版本 功能描述 DLI提供多版本功能，用于数据的备份与恢复。开启多版本功能后，在进行删除或修改表数据时（insert overwrite或者truncate操作），系统会自动备份历史数据并保留一定时间，后续您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据
SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 可能原因 可能由于文件路径错误或文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确，包括目录名称和文件名。
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
描述 分组名称 如果创建程序包时选择了分组，显示所在的分组名称。 如果创建程序包时没有选择分组，则不显示该参数。 名称 程序包名称。 选择类型 如果创建程序包时选择了分组，可选择修改“组”的所有者或者“程序包”的所有者。 如果创建程序包时没有选择分组，则不显示该参数。 用户名 程序包所有者的名称。
timeout 连接redis的超时时间，单位ms，默认值2000（2秒超时）。 访问DCS时，不支持复杂类型数据（Array、Struct、Map等）。 可以考虑以下几种方式进行复杂类型数据处理： 字段扁平化处理，将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取，并通过自定义函数进行编解码。
time_attr设置为event-time时参数类型为timestamp(3)类型。 time_attr设置为processing-time时无需指定类型。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个timestamp类型的属性。 窗口辅助函数 可以使用以下
time_attr设置为event-time时参数类型为timestamp(3)类型。 time_attr设置为processing-time时无需指定类型。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个timestamp类型的属性。 表1 分组函数表 分组窗口函数
字符串列表。 语法说明 string_split(target, separator) 表1 string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明： 如果target为NULL，则返回一个空行。 如果target包含两个或
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
