检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理单元和TaskManager的内存总和= 实际TM数 * 设置的单个TM的内存 + 管理单元内存 如果配置了单 TM Slot数,实际TM数 = 并行数 / 单 TM Slot数。
Compaction作业配置的资源,vcore数至少要大于等于单个分区的桶数,vcore数与内存的比例应为1:4即1个vcore配4G内存。 父主题: Bucket调优示例
表1 从checkpoint恢复的常见场景 场景 是否支持恢复 说明 调整或者增加并行数 不支持 该操作修改了作业的并行数,即修改了作业的运行逻辑。 修改Flink SQL语句、Flink Jar作业等操作 不支持 该操作修改了作业对资源的算法逻辑。
参数v1的格式包括浮点数格式、整数格式。 v2 是 DOUBLE、BIGINT、DECIMAL类型。 参数v2的格式包括浮点数格式、整数格式。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 返回4.0。
并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,上限是计算单元CU数的4倍,最佳实践为计算单元CU数的1-2倍。 tm_cus 否 Integer 单个taskManagerCU数量。
参数v1的格式包括浮点数格式、整数格式。 v2 是 DOUBLE、BIGINT、DECIMAL类型。 参数v2的格式包括浮点数格式、整数格式。 返回值说明 返回DOUBLE类型的值。 v1、v2...为String类型时,返回报错。 所有参数都为NULL时,返回NULL。
percentile_approx percentile_approx(DOUBLE col, p [, B]) DOUBLE 返回组内数字列近似的第p位百分数(包括浮点数),p值在[0,1]之间。参数B控制近似的精确度,B值越大,近似度越高,默认值为10000。
flink.dli.job.cu.max 用户CU初始值 该配置表示当前作业在进行动态扩缩时允许使用的最大CU数,如果用户未配置则默认值为该作业的初始总CU数。 注意:该配置值不能小于用户配置的总CU数,且只有当用户开启动态扩缩时,该配置才有意义。
参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非DOUBLE类型时,会隐式转换为DOUBLE类型后参与运算。 p 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数p的格式包括浮点数格式、整数格式、字符串格式。
并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元(CU数量-管理单元)的4倍。 管理单元参数设置详见:manager_cu_number。
在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。
参数a的格式包括浮点数格式、整数格式、字符串格式。 b 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数b的格式包括浮点数格式、整数格式、字符串格式。 返回值说明 返回DECIMAL或INT类型。 a或b为NULL,则返回NULL。
如果采用月分区,分区桶的个数= 3GB * 30 /2GB = 45个桶 ,这样写入的数据桶数减少到了45个桶。在有限的计算资源下,写入的桶数越少,性能越高。 父主题: Hudi数据表设计规范
参数base的格式包括浮点数格式、整数格式、字符串格式。 参数base非DOUBLE类型时,会隐式转换为DOUBLE类型后参与运算。 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。
cu_count 否 Integer 与该队列绑定的计算单元数,即当前队列的CU数。 charging_mode 否 Integer 队列的收费模式。 0:系统默认default队列。按照扫描量计费。 1:表示按照CU时收费。 2:表示按照包年包月收费。
max_cu 否 Integer 弹性资源池的最大CU数。 min_cu 否 Integer 弹性资源池的最小CU数。 响应消息 表3 响应参数说明 参数 是否必选 参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。
、四分位数、百分位数等。
计费模式 计算规则 付费周期 费用计算 按需计费(专属) 计算费用:计算费用=单价*CU数*小时数 1个月 计算费用:0.4(弹性资源池计算单价:元/时) x 256(CU数) x 24 x 30(小时数) = 73728 元/月 存储费用=单价*存储数据量(GB)*小时数 存储费用
参数a的格式包括浮点数格式、整数格式、字符串格式。 返回值说明 返回 DECIMAL、DOUBLE或INT类型。 a为NULL,则返回NULL。 示例代码 返回3。 SELECT positive(3); 返回-3。 SELECT positive(-3); 返回123。
Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop