云服务器内容精选

华为云首页用户手册

使用Storm

MAPREDUCE服务 MRS-Storm常用参数:参数说明

参数说明表1 参数说明配置参数说明默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worker占用一个端口，且每个端口只运行一个worker。通过这项配置可以设置每台机器上运行的worker数量。端口的取值范围是1024到65535，不同端口使用逗号分隔。 6700,6701,6702,6703 WORKER_GC_OPTS supervisor启动worker时使用的jvm选项。需要根据业务中对内存等的使用来进行设置，例如是简单业务处理，建议1G，既“-Xmx1G”；如果有窗口缓存，根据窗口大小计算：每条记录大小*周期*2。 -Xms1G -Xmx1G -XX:+UseG1GC -XX:+PrintGCDetails -Xloggc:artifacts/gc.log -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=artifacts/heapdump default.schedule.mode 默认调度器的调度模式。目前支持两个值，具体值与含义如下： “AVERAGE”：使用按空闲Slot数目为优先级的调度机制 “RATE”：使用按空闲Slot比率为优先级的调度机制 AVERAGE nimbus.thrift.threads 设置主用Nimbus对外提供服务时的最大连接线程数。当Storm集群规模较大，Supervisor实例数量较多时，需要增加线程数。 512

MAPREDUCE服务 MRS 使用Storm
MAPREDUCE服务 MRS-提交Storm拓扑失败排查思路:解决办法

解决办法认证异常。登录客户端节点，进入客户端目录。执行以下命令重新提交任务。（业务jar包和Topology根据实际情况替换） source bigdata_env kinit 用户名 storm jar storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology test 拓扑包异常。排查业务jar，将业务jar中storm.yaml文件删除，重新提交任务。

MAPREDUCE服务 MRS 使用Storm
MAPREDUCE服务 MRS-访问Storm的WebUI:相关任务

相关任务单击拓扑名称，可查看指定拓扑的详细信息、拓扑状态、Spouts信息、Bolts信息和拓扑配置。在“Topology actions”区域，用户可以对拓扑执行激活、去激活、重部署、删除操作、调试、停止调试和修改日志级别，即“Activate”、“Deactivate”、“Rebalance”、“Kill”、“Debug”、“Stop Debug”、“Change Log Level”。重部署和删除操作需要设置操作执行的等待时间，单位为秒。在“Topology Visualization”区域，用户可以执行拓扑可视化操作，即单击“Show Visualization”。拓扑可视化后，WebUI将显示拓扑结构图。

MAPREDUCE服务 MRS 使用Storm
MAPREDUCE服务 MRS-使用Storm客户端:操作步骤

操作步骤根据业务情况，准备好客户端，登录安装客户端的节点。请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户执行命令进行客户端操作。例如执行以下命令： cql storm 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。

MAPREDUCE服务 MRS 使用Storm