检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
inline=false; 异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划，则需要通过set命令设置以下参数： set hoodie.compact.inline=true; set hoodie.schedule
inline=false; 异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划，则需要通过set命令设置以下参数： set hoodie.compact.inline=true; set hoodie.schedule
行的入口点。 -p,--parallelism <parallelism>：指定程序运行的并行度。 -h：获取帮助。 显示所运行程序的执行计划（JSON） flink list -a,--all：显示所有的Job。 -m,--jobmanager <host:port>：指定JobManager。
编辑连接 在Loader页面，单击“管理连接”。 单击指定连接的名称，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行5；如果显示不能连接至OBS Server，则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Load
在一次特定的执行尝试期间，为一个特定子任务收集累加器（在发生故障/恢复时会发生多次尝试）。 /jobs/<jobid>/plan Job的数据流计划。 该计划也包括在Job摘要（“/ jobs / <jobid>”）中。 /taskmanagers 任务管理员信息。 /taskmanager
在一次特定的执行尝试期间，为一个特定子任务收集累加器（在发生故障/恢复时会发生多次尝试）。 /jobs/<jobid>/plan Job的数据流计划。 该计划也包括在Job摘要（“/ jobs / <jobid>”）中。 /taskmanagers 任务管理员信息。 /taskmanager
在一次特定的执行尝试期间，为一个特定子任务收集累加器（在发生故障/恢复时会发生多次尝试）。 /jobs/<jobid>/plan Job的数据流计划。 该计划也包括在Job摘要（“/ jobs / <jobid>”）中。 /taskmanagers 任务管理员信息。 /taskmanager
在一次特定的执行尝试期间，为一个特定子任务收集累加器（在发生故障/恢复时会发生多次尝试）。 /jobs/<jobid>/plan Job的数据流计划。 该计划也包括在Job摘要（“/ jobs / <jobid>”）中。 /taskmanagers 任务管理员信息。 /taskmanager
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
resources_plans 否 Array of ResourcesPlan objects 参数解释： 资源计划列表。若该参数为空表示不启用资源计划。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 取值范围： 不涉及 默认取值： 不涉及 rules
resources_plans 否 Array of ResourcesPlan objects 参数解释： 资源计划列表。若该参数为空表示不启用资源计划。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 取值范围： 不涉及 默认取值： 不涉及 rules
示例如下： select count(*) from table where partCol=1; //partCol列为分区列 此时，在物理计划中执行TableScan操作时，只处理分区(partCol=1)对应的数据。 操作步骤 要启动Datasource表优化，在Spark客户端的“spark-defaults
示例如下： select count(*) from table where partCol=1; //partCol列为分区列 此时，在物理计划中执行TableScan操作时，只处理分区(partCol=1)对应的数据。 操作步骤 要启动Datasource表优化，在Spark客户端的“spark-defaults
返回DataFrame中的前num行。 表5 基本的DataFrame Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注
基本的DataFrame Functions介绍 方法 说明 void explain(boolean extended) 打印出SQL语句的逻辑计划和物理计划。 void printSchema() 打印schema信息到控制台。 registerTempTable 将DataFrame注册
返回DataFrame中的前num行。 表5 基本的DataFrame Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注
enabled 类型为Boolean。 当设置的值等于true时，表示开启tungsten功能，即逻辑计划等同于开启codegeneration，同时物理计划使用对应的tungsten执行计划。 当设置的值等于false时，表示关闭tungsten功能。 true spark.sql.codegen
返回DataFrame中的前num行。 表5 基本的DataFrame Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注
返回DataFrame中的前num行。 表5 基本的DataFrame Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
