检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
把配置项“spark.eventQueue.size”配置为1000W。如果需要控制打印频率(默认为1000毫秒打印1条日志),请根据需要修改配置项“spark.event.listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、
-site.xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs,需要修改的地方如图1所示。 图1 hdfs-site.xml 父主题: 调测HDFS应用
把配置项“spark.eventQueue.size”配置为1000W。如果需要控制打印频率(默认为1000毫秒打印1条日志),请根据需要修改配置项“spark.event.listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、
在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager.connect.retry-interval.ms”,这样可以更改重试次数,Spark应用可以提早退出。
pt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-thresho
Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”,在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”,在弹框中单击“确定”保存配置。 名称 值 参数说明 oozie.services.ext org.apache.oozie
Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,在“配置资源权限”中单击集群名称,确认可配置资源权限的组件。 选择“集群 > 服务”,查看可配置资源权限的组件的运行状态是否都为“良好”。 如果不为“良好”,请启动或者修复组件,直至状态为“良好”。 再次执行删除租户操作。 父主题:
在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Oozie堆内存使用率超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Oozie >
检查堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19008”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。
educeExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 oozie-examples/ooziesecurity-examples/OozieSparkHBaseExample
e浏览器访问。 显示MRS Manager登录页面,此时Chrome浏览器暂时还不能登录MRS Manager页面,请继续操作后续步骤。 查找证书。 单击浏览器左上角,单击“证书无效”所在行的。 获取证书。 选中该证书拖动到电脑桌面,即可获得证书。 在Mac应用中选择钥匙串访问。
FS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 >
在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Loader进程垃圾回收(GC)时间超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Loader >
在ZooKeeper中查询Broker ID的对应关系。 sh zkCli.sh -server <zk_host:port> 在ZooKeeper客户端执行如下命令。 ls /kafka/brokers/ids get /kafka/brokers/ids/<查询出的Broker id>
FS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 >
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
ZooKeeper所在节点的IP:端口 ZooKeeper所在节点的IP即为1中查到的结果,多个IP之间以逗号间隔。 使用ls /等常用的命令查看ZooKeeper上的信息。 父主题: 使用ZooKeeper
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
开发和运行环境的基本配置,版本要求如下: JDK版本号应该与用户要访问的FusionInsight Manager使用的版本号一致,具体的版本号可以查看对应版本文档或咨询系统管理员。 例如FusionInsight Manager 8.1.2.2支持的JDK是JDK 1.8.x。 安装和配置IntelliJ
结束BulkLoad客户端程序,导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时报错“java.lang.UnsatisfiedLinkError: