检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源组配置不合理或该资源组下提交的任务过多。 处理步骤 选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置 > 全部配置”，修改“resource-groups”的值调整资源组配置，修改“ resourceGroupAlarm (Coordinator > 自定义 > resourceGroupAlarm)
直接内存使用率”，调整“GC_OPTS”参数中“-XX:MaxDirectMemorySize”的值为“TokenServer使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 重新启动受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 在重启服务或
ooKeeper实际使用的堆内存大小。 根据堆内存实际使用量，修改GC_OPTS参数中的-Xmx值，该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G，则GC_OPTS建议配置为“-Xms4G -Xmx4G -XX:NewSize=512M -XX:MaxNewSize=512M
ZooKeeper > 配置 > 全部配置”，搜索“max.znode.count”，即ZooKeeper目录的数量配额的最大值，告警阈值为该值的80%，修改调大该配置项，单击“保存”，重启服务使配置生效。 服务在重启过程中将不可用。另外，依赖该服务的上层服务也将受到影响。 观察界面告警是否清除。
t-data/streaming_workflow”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Streaming-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过H
t-data/streaming_workflow”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Streaming-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过H
e功能，即在“Spark-defaults.conf”配置文件中将配置项“spark.shuffle.service.enabled”配置为“false”。 父主题： Spark Core
0库无法加载，进而导致任务失败。 规避手段： 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred.MapTask$MapOutputBuffer。 父主题： Yarn常见问题
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例，您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。 public static
0库无法加载，进而导致任务失败。 规避手段： 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred.MapTask$MapOutputBuffer。 父主题： Yarn常见问题
Exception Timeout或者SocketTimeout Exception异常。 调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
域和互信”，查看“本端域”参数，即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名，用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C.COM”，用户名为“zookeeper/hadoop
DEBUG DEBUG表示记录系统及系统的调试信息 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Yarn服务“全部配置”页面。 在左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存配置”，在弹出窗口中单击“确定”使配置生效。
的节点。对于小集群，可以将该功能关闭。 操作步骤 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。
Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。解决方法是修改业务逻辑，单线程插入数据到同一张表或同一个分区。 父主题： Hive常见问题
的节点。对于小集群，可以将该功能关闭。 操作步骤 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。
如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_MEMORY和SPARK_DRIVER_MEMORY两个参数取值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果对核数有要求，可以搜索并修改spark.driver.cores和spark
WHERE id = 10 WITH语句 WITH子句提供了一种用于更大查询而编写辅助语句的方法。这些语句通常被称为公用表表达式，表达式可以理解为仅针对某个查询而存在的临时视图。 语法： WITH <with_item_definition> [ , ... ] SELECT ... FROM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
