检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
机发送消息通知，方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”，依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时，能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置
点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能，禁用后Spark将不会自动修剪掉那些不满足条件的分区。 表4 tags参数 参数名称
DLI弹性资源池与队列简介 DLI的计算资源是执行作业的基础，本节内容介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列？ 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式，可以看做DLI计算资源的集合。DLI
时间和日期类型 限制 时间和日期类型目前精确到毫秒。 表1 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。仅支持ISO 8601格式：'2020-01-01' 32位 TIME 不带时区的时间（时、分、秒、毫秒） 例如：TIME '01:02:03.456' 64位
SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业，单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”，配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框，配置动态扩缩容参数。
区域和可用区 什么是区域、可用区？ 区域和可用区用于描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
second=3600 flink.dli.job.agency.name=*** Flink Jar作业示例。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <properties> <flink.version>1
元数据的队列和引擎类型。 查看队列的引擎类型和版本请参考查看队列的基本信息。 表1 LakeFormation获取元数据的队列和引擎类型 队列类型 引擎类型和支持的版本 default队列 Spark 3.3.x：支持对接LakeFormation获取元数据的队列和引擎。 HetuEngine
'null'] 在从JSON转换为ROW时，支持JSON数组和JSON对象。 JSON数组可以具有混合元素类型，JSON Map可以有混合值类型。这使得在某些情况下无法将其转换为SQL数组和Map。为了解决该问题，HetuEngine支持对数组和Map进行部分转换： SELECT CAST(JSON'[[1
数组函数和运算符 下标操作符：[] 描述：下标操作符用于访问数组中的元素，并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
返回提供的最小值。 批量比较判断：ALL，ANY和SOME 量词ALL，ANY和SOME可以参考以下方式，结合比较操作符一起使用： expression operator quantifier ( subquery ) 以下是一些量词和比较运算符组合的含义，ANY和SOME具有相同的含义，表中的ANY换为SOME也同样：
224268134757361 normal_cdf(mean, sd, v) → double 给定平均值和标准差，计算正态分布函数值。P(N<v;mean,sd)，平均值和v必须是实数值，标准差必须是正实数值。 select normal_cdf(2, 5, 0.95);--
Map函数和运算符 下表操作符: [] 描述：[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
TVFs）的操作之上，比如窗口聚合，窗口Top-N和 窗口关联。 窗口 Top-N 的语法和普通的 Top-N 相同。 除此之外，窗口 Top-N 需要 PARTITION BY 子句包含窗口表值函数或窗口聚合产生的 window_start 和 window_end。 否则优化器无法翻译。 更多介绍和使用请参考开源社区文档：窗口Top-N。
SQL函数和操作符 逻辑运算符 比较函数和运算符 条件表达式 Lambda 表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符
服务进行操作。 权限根据授权的精细程度，分为角色和策略。 角色：角色以服务为粒度，是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。 策略：策略以API接口为粒度进行权限拆分，授权更加精细，可以精确到某个操作、资源和条件，能够满足企业对权限最小化的安全管控要求。
流读Hudi MOR表时，建议开启log index特性提升Flink流读性能 Hudi的Mor表可以通过log index提升读写性能， Sink和Source表添加属性 'hoodie.log.index.enabled'='true' 创建Flink OpenSource SQL作业
DLI数据库和表类 为什么在DLI控制台中查询不到表？ OBS表压缩率较高怎么办？ 字符码不一致导致数据乱码怎么办？ 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？ DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 创建OB
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
