检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 华为提供开源镜像站，各服务样例工程依赖的Jar包通过华为开源镜像站下载，剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip
当需要触发某个窗口时，计算该窗口包含的所有pane，并取出合并成一个完整的窗口计算。 图4 窗口触发计算示例 当某个pane不再需要时，将其从内存中删除。 图5 窗口删除示例 通过优化，可以大幅度降低数据在内存以及快照中的数量。 父主题： Flink
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口，接着开始SparkPi的调试，比如单步调试、查看调用栈、跟踪变量值等，如图5所示。 图4 调试 父主题： Spark应用开发常见问题
IDEA开发工具时，可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录，确保该目录为“<本地Maven安装目录>\conf\settings.xml”。 图3 “settings
检查上报告警的JDBCServer实例的请求来源 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43028”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页，选择“集群 > 服务 > Spark
此时请将“yarn.timeline-service.generic-application-history.enabled”（客户端查询app任务数据时是否从TimelineServer服务获取）参数设置为“false”，直接从ResourceManager上面获取app任务数据。
即Spark客户端，请根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 准备Spark连接集群配置文件
Shell命令介绍 完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口 HDFS HTTP REST API接口介绍 监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 keytab文件
Project对话框中选择样例工程文件夹“hdfs-example-security”，单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码，在配置好Maven后（配置方式参考配置华为开源镜像仓）， 相关依赖jar包将自动下载，不需手动添加。 将工程中的conf目录添加到资源路径。
admin.TopicCommand.main(TopicCommand.scala) (kafka.admin.TopicCommand$) 通过Manager参看Kafka服务是否处于正常状态，当前可用Broker是否小于设置的replication-factor。 检查客户端命令
操作步骤 Spark程序运行时，在shuffle和RDD Cache等过程中，会有大量的数据需要序列化，默认使用JavaSerializer，通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时，添加如下代码来使用KryoSerializer作为数据序列化器。
执行show functions操作后的结果 回答 问题根因： 上述两个问题是由于多主实例模式或者多租户模式下，使用spark-beeline通过add jar的方式创建function，此function在各个JDBCServer实例之间是不可见的。执行drop function时
操作步骤 Spark程序运行时，在shuffle和RDD Cache等过程中，会有大量的数据需要序列化，默认使用JavaSerializer，通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时，添加如下代码来使用KryoSerializer作为数据序列化器。
的最新offset，则该任务会运行失败。 如果任务失败过多，则会将executor加入黑名单，从而导致后续的任务无法部署运行。此时用户可以通过配置“spark.blacklist.enabled”参数关闭黑名单功能，黑名单功能默认为开启。 如果Kafka上topic的offset变小后，Spark
be queried. 作业日志聚集路径为空，无法查询日志 按照检查作业日志路径是否正确 400 0188 The job query result is empty. Logs cannot be obtained. 作业查询结果为空，无法获取日志 按照检查作业日志路径是否正确
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口，接着开始SparkPi的调试，比如单步调试、查看调用栈、跟踪变量值等，如图5所示。 图5 调试 父主题： Spark应用开发常见问题
IDEA开发工具时，可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录，确保该目录为“<本地Maven安装目录>\conf\settings.xml”。 图3 “settings
创建HBase表： create 'hbase_test','f1','f2'; 配置“HBase输出”算子，如下图： 作业执行成功后，查看hbase_test表中数据： 父主题： 输出算子
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口，接着开始SparkPi的调试，比如单步调试、查看调用栈、跟踪变量值等，如图5所示。 图5 调试 父主题： Spark应用开发常见问题
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口，接着开始SparkPi的调试，比如单步调试、查看调用栈、跟踪变量值等，如图5所示。 图5 调试 父主题： Spark应用开发常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
