检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。
REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改，如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致，可能会因为varchar类型不兼容，导致视图查询失败。 例如：使用Spark 3.x版本创建的表，建议您使用Spark 2.x创建相应的视图。 示例 先通过对stud
到数据怎么办？ 为什么insert overwrite覆盖分区表数据的时候，覆盖了全量数据？ 跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ SQL作业执行完成后，修改表名导致datasize不正确怎么办？ 从DLI导入数据到OBS，数据量不一致怎么办？
lable][comment]四部分组成。 col_name：新增列名，必须指定。 暂不支持给嵌套列添加新的子列 col_type：新增列类型，必须指定。 nullable：新增列是否可以为空，可以缺省。 comment：新增列comment，可以缺省。 所需权限 SQL权限 表2
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数
在弹出的“授权”对话框中选择相应的权限。 DLI表具体权限说明请参考表1。 图2 DLI表用户授权 图3 DLI表项目授权 表1 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明： 该用户名称是已存在的IA
中NULL代表未知。优先级顺序为：NOT>AND>OR。 运算规则请参见表1，表中的A和B代表逻辑表达式。 表1 逻辑运算符 运算符 返回类型 描述 A AND B BOOLEAN 若A与B都为TRUE则返回TRUE，否则返回FALSE。若A或B为NULL，则返回NULL。 A OR
构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。 说明： 以“ISO 8601”格式
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI
PROCTIME() 语句进行定义。 另一方面，由于事件时间列可能需要从现有的字段中获得，因此计算列可用于获得事件时间列。例如，原始字段的类型不是 TIMESTAMP(3) 或嵌套在 JSON 字符串中。 注意： 定义在一个数据源表（ source table ）上的计算列会在从数据源读取数据后被计算，它们可以在
UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Ogg 消息。 支持的Connector Kafka FileSystem 参数说明 表1 参数说明 参数 是否必须 默认值 类型 描述 format 是 (none) String 指定要使用的格式，此处应为
项目编号，用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID，采用UUID（通用唯一识别码）格式。 state 否 String 批处理作业的状态，请参见创建批处理作业中的表7。
描述 分组名称 如果创建程序包时选择了分组，显示所在的分组名称。 如果创建程序包时没有选择分组，则不显示该参数。 名称 程序包名称。 选择类型 如果创建程序包时选择了分组，可选择修改“组”的所有者或者“程序包”的所有者。 如果创建程序包时没有选择分组，则不显示该参数。 用户名 程序包所有者的名称。
配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
timeout 连接redis的超时时间，单位ms，默认值2000（2秒超时）。 访问DCS时，不支持复杂类型数据（Array、Struct、Map等）。 可以考虑以下几种方式进行复杂类型数据处理： 字段扁平化处理，将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取，并通过自定义函数进行编解码。
time_attr设置为event-time时参数类型为timestamp(3)类型。 time_attr设置为processing-time时无需指定类型。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个timestamp类型的属性。 窗口辅助函数 可以使用以下
time_attr设置为event-time时参数类型为timestamp(3)类型。 time_attr设置为processing-time时无需指定类型。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个timestamp类型的属性。 表1 分组函数表 分组窗口函数
字符串列表。 语法说明 string_split(target, separator) 表1 string_split参数说明 参数 数据类型 说明 target STRING 待处理的目标字符串。 说明： 如果target为NULL，则返回一个空行。 如果target包含两个或
name_test", "age+1").show() col 获取指定字段。不同于select，col每次只能获取一个字段，返回类型为Column类型，示例如下： 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段，返回不包含
Key)或Token两种认证方式初始化客户端，具体操作请参考初始化DLI客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
