检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/user
onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler
onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler
onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler
场景描述 Spark shuffle时启动的Task个数。 如何调优 一般建议将该参数值设置为执行器核数的1到2倍。例如，在聚合场景中，将task个数从200减少到32，有些查询的性能可提升2倍。 表2 设置用于CarbonData查询的Executor个数、CPU核数以及内存大小 参数
在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MR
Manager。 单击“服务管理 > Flink > 下载客户端”，在“客户端类型”勾选“完整客户端”，“下载路径”选择“服务器端”，单击“确定”下载客户端到服务器端。 执行如下命令解压缩客户端安装包“MRS_Flink_Client.tar”。 tar -xvf /tmp/MRS-
address=5006：需要换成3获取到的For JDK1.4.x对应的调试端口。 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点，如图4所示，在SparkPi.scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
场景描述 Spark shuffle时启动的Task个数。 如何调优 一般建议将该参数值设置为执行器核数的1到2倍。例如，在聚合场景中，将task个数从200减少到32，有些查询的性能可提升2倍。 表2 设置用于CarbonData查询的Executor个数、CPU核数以及内存大小 参数
应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小，AM最大资源百分比设置过小。 监控阈值设置过小。 处理步骤 检查NodeManager节点资源 在FusionInsight Manager界面，选择“集群
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/user
e.xml”中的“dfs.support.append”参数值设置为true。 “dfs.support.append”参数在开源社区版本中默认值是关闭，在FusionInsight版本默认值是开启。 该参数为服务器端参数。建议开启，开启后才能使用Append功能。 不适用HDF
continue. 使用free指令查看，该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因，确认是否有某些进程占用过多内存，或者由于服务器自身内存不足。 父主题： 使用HBase
务数量，并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。 当挂起状态任务数小于或等于阈值时，告警清除。
间操作，则把超时时间设置长一点；如果是短时间操作，则把超时时间设置短一点。而重试次数可以设置为：“(hbase.client.retries.number)*60*1000(ms)”。刚好大于“hbase.client.operation.timeout”设置的超时时间。 父主题：
onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler
执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark; set spark.executor
准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于用户应用程序开发、运行、调测。 弹性云服务器的主机操作系统选择“EulerOS”，版本请根据需要选择。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
-o命令安装客户端。 如果需要安装客户端的服务器在集群内，则无需指NTP服务器模式，即执行./install.sh /opt/hadoopclient命令安装客户端。 如果需要安装客户端的服务器在集群外，且本服务器上NTP服务器模式与集群内NTP服务器模式一致，即执行./install.sh
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
