行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题： Kafka开发指南（安全模式）
平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 >
对系统的影响 通信闪断，业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置
平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 >
单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待两分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 >
mapreduce.jobhistory.webapp.port 19888 26012 Job history服务器Web http端口。 该端口用于：查看Job History服务器的Web页面。 说明： 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是
令前建议关闭系统的history命令记录功能，避免信息泄露。 查看是否打开“Security Cookie”开关，即查看配置“flink-conf.yaml”文件中的“security.enable: true”，查看“security cookie”是否已配置成功，例如： security
创建一个新的python3任务，使用Spark读取文件。 图4 创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时，报错如下：
选择“false”，表示关闭压缩。 true 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 数据导出
选择“false”，表示关闭压缩。 true 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 创建Loader数据导出作业
*”。例如要筛选以“test”开头的对象，请输入“test.*”。例如要输入以“test”结尾的对象，请输入“.*test”。 单击“刷新”，在“目录名称”查看筛选的目录。 单击“同步”保存筛选结果。 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。
在FusionInsight Manager首页，查看当前的HDFS文件数。HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”，单击图表区域右上角的下拉菜单，选择“定制 > 文件和块”，勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称
通过客户端安装目录“/opt/client/HDFS/hadoop/logs”下的hadoop-root-balancer-主机名.out查看。 如果需要停止Balance任务，请执行以下命令： bash /opt/client/HDFS/hadoop/sbin/stop-balancer
通过客户端安装目录“/opt/client/HDFS/hadoop/logs”下的hadoop-root-balancer-主机名.out查看。 如果需要停止Balance任务，请执行以下命令： bash /opt/client/HDFS/hadoop/sbin/stop-balancer
SparkPython：该类型作业将转换为SparkSubmit类型提交，MRS控制台界面的作业类型展示为SparkSubmit，通过接口查询作业列表信息时作业类型请选择SparkSubmit。 HiveScript HiveSql DistCp，导入、导出数据。 SparkScript
创建HBase表： create 'hbase_test','f1','f2'; 配置“HBase输出”算子，如下图： 作业执行成功后，查看hbase_test表中数据： 父主题： 输出算子
IDEA开发工具时，可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录，确保该目录为“<本地Maven安装目录>\conf\settings.xml”。 图3 “settings
图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口，接着开始调试，比如单步调试、查看调用栈、跟踪变量值等，如下图所示。 图5 调试 父主题： Storm应用开发常见问题
常情况下无需认证。 kinit MRS集群用户 例如： kinit admin 直接执行组件的客户端命令。 例如： 使用HDFS客户端命令查看HDFS根目录文件。 hdfs dfs -ls / Found 15 items drwxrwx--x - hive hive
创建HBase表： create 'hbase_test','f1','f2'; 配置“HBase输出”算子，如下图： 作业执行成功后，查看hbase_test表中数据： 父主题： Loader输出类算子
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
