检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI提交Notebook实例需要使用弹性资源池资源,并在弹性资源池中创建通用队列用于后续执行作业所需的计算资源。请参考步骤1:创建弹性资源池并添加通用队列。 创建Notebook实例所需的VPC和安全组。
在使用时系统先按照spark.sql.aggregate.adaptivePartialAggregationInterval配置的间隔进行分析,当处理的行数到达间隔之后,再计算”已处理的group分组/已处理的行数”,如果比例大于配置的阈值,则认为预聚合效果不好,此时可以直接选择跳过