检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enabled 是否打开获取HBase token的功能。如果需要Spark-on-HBase功能,并且配置了安全集群,参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。
enabled 是否打开获取HBase token的功能。如果需要Spark-on-HBase功能,并且配置了安全集群,参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。
LinkedBlockingQueue RPC BackOff Backoff是FairCallQueue的功能之一,要求客户端在一段时间后重试操作(如创建,删除,打开文件等)。当Backoff发生时,RCP服务器将发生RetriableException异常。FairCallQueue在以下两种情况时进行Backoff。
参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start 在下拉框中选择“Structure for New
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务,确认有数据输入后,发现没有任何处理的结果。打开Web界面查看Spark Job执行情况,发现如下图所示:有两个Job一直在等待运行,但一直无法成功运行。 图1 Active Jobs 继
告警解释 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC连接数,当检测到某个RegionServer上的RPC打开连接数连续10次超出阈值时产生该告警。 当RegionServer实例的RPC连接数小于或等于阈值时,告警消除。 该告警仅适用于MRS 3
LinkedBlockingQueue RPC BackOff Backoff是FairCallQueue的功能之一,要求客户端在一段时间后重试操作(如创建,删除,打开文件等)。当Backoff发生时,RCP服务器将发生RetriableException异常。FairCallQueue在以下两种情况时进行Backoff。
查看想要的信息。 用户可以在进程启动前,在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后,就可以通过修改进程对应的log4j配置文件,来调整日志打印级别。 目前支持动态设置日志级别功能的有:D
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务,确认有数据输入后,发现没有任何处理的结果。打开Web界面查看Spark Job执行情况,发现如下图所示:有两个Job一直在等待运行,但一直无法成功运行。 图1 Active Jobs 继
查看想要的信息。 用户可以在进程启动前,在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后,就可以通过修改进程对应的log4j配置文件,来调整日志打印级别。 目前支持动态设置日志级别功能的有:D
Manager,选择“系统 > 权限 > 用户”。 若在系统中添加新的用户,请单击“添加用户”,打开添加用户的配置页面。 图1 添加用户 若为系统中已有的用户绑定租户权限,请单击该用户所在行的“修改”,打开修改用户的配置页面。 参见表1为用户配置属性。 表1 用户参数一览 参数名 描述 用户名
FS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret.key=xxx -update hdfs://hacluster/blee obs://xxx/aaa
服务 > Kudu”。 在“Kudu 概览”的“KuduMaster WebUI”中单击“KuduMaster(KuduMaster)”,打开KuduMaster的WebUI页面。 图1 KuduMaster WebUI 访问KuduMaster WebUI(MRS 3.x之前版本)
任务参数没有正确设置。 Yarn执行任务时出现异常。 处理步骤 检查任务参数是否没有正确设置。 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”在告警列表中,打开告警下拉页面,获取告警原因。 如果告警原因是“提交任务失败”,则查看“附加信息”中的错误细
服务 > Kudu”。 在“Kudu 概览”的“KuduMaster WebUI”中单击“KuduMaster(KuduMaster)”,打开KuduMaster的WebUI页面。 图1 KuduMaster WebUI 访问KuduMaster WebUI(MRS 3.x之前版本)
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上调出“Loader堆内存资源状况”监控图表,观察该监控图表中“Loader使用的堆内存大小”的变化趋势,根据当前堆内