检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 String 提交作业的用户。 start_time 是 Long 作业开始的时间。是单位为“毫秒”的时间戳。 duration 是 Long 作业执行的时间间隔,单位毫秒。 export_mode 否 String 导出数据或保存查询结果时,指定的导出模式。 范围为“Err
查看表统计信息。返回所有列的列名和列数据类型。 语法格式 1 DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name; 关键字 EXTENDED:显示表的所有元数据,通常只在debug时用到。 FORMATTED:使用表格形式显示所有表的元数据。 参数说明
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MR
怎样查看套餐包资源的使用情况? 购买套餐包后,随着套餐包的使用您可以随时查看套餐包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
Spark SQL语法概览 本章节介绍了目前DLI所提供的Spark SQL语法列表。参数说明,示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表
在列表页面上方的搜索区域,您可以名称和标签筛选需要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义: 执行引擎:负责执行队列中任务的引擎类型。 默认版本:执行引擎的默认配置版本,或者是在没有指定特定版本时系统将使用的版本。 支持版本:执行引擎支持的所有版本列表。
DLI是否支持导入其他租户共享OBS桶的数据? DLI支持将同一个租户下子账户共享OBS桶中的数据导入,但是租户级别共享OBS桶中的数据无法导入。 DLI不支持导入其他租户共享的OBS桶中的数据,主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景,建议先将数据
Flink OpenSource SQL1.10语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建源表相关语法 表1 创建源表相关语法 语法分类 功能描述 创建源表 Kafka源表 DIS源表
用于展示表或分区的详细信息。 可以使用规则运算表达式来同时匹配多个表,但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。
Flink OpenSource SQL1.12语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表
Spark:显示执行引擎为“Spark”的作业。 HetuEngine:显示执行引擎为“HetuEngine”的作业。 用户名 执行该作业的用户名。 类型 作业的类型,包括如下。 IMPORT:导入数据到DLI的作业。 EXPORT:从DLI导出数据的作业。 DCL:包括传统DCL,以及队列权限相关的操作。 D
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal
该字段对应的值作为redis的hash数据类型的value。而当使用map时,会将flink中该字段值的key作为redis的hash数据类型的field,该字段值的value作为redis hash数据类型的value。其具体示例如下: 对于fields: 创建的Flink作业运行脚本如下:
该字段对应的值作为redis的hash数据类型的value。而当使用map时,会将flink中该字段值的key作为redis的hash数据类型的field,该字段值的value作为redis hash数据类型的value。其具体示例如下: 对于fields: 创建的Flink作业运行脚本如下:
key-column作为redis的key。redis的hash类型,每个key对应一个hashmap,hashmap的hashkey为源表的字段名,hashvalue为源表的字段值。 connector.key-column 否 table存储模式下可配置,将该字段值作为redis中的ext-key
是否支持IPv6:如果创建增强型跨源连接时您选择的子网是开启IPv6的,则您创建的增强型跨源连接也是支持IPv6的。 主机信息:访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题: 管理增强型跨源连接
delta_table0; 系统响应 返回表的详细信息或统计信息。 表2 结果参数描述 参数名 参数含义 format 表的格式,在这里是delta id 表的唯一id name 在metaserver中定义的表名 description 关于表的说明 location 表的存储路径 createdAt
有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte hoodie.copyonwrite.insert.split.size 插入写入并行度。为单个分区的总共插入次数。写出100MB的文件,至少1KB大小的记录,意味着
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表
并删除那些不满足WHERE子句条件的分区,适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。 在这种情况下,可以