检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nimbus.task.launch.secs和supervisor.worker.start.timeout.secs这两个参数分别代表nimbus端和supervisor端对于拓扑启动的超时容忍时间,一般nimbus.task.launch.secs的值要大于等于supervisor
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
磁盘写入的小文件过多。 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,获取告警所在主机地址和磁盘分区。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -i | grep -iE "
修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”,会等待缓冲
集群上下电之后HBase启动失败 问题背景与现象 集群的ECS关机重启后,HBase启动失败。 原因分析 查看HMaster的运行日志,发现有报大量的如下错误: 2018-03-26 11:10:54,185 | INFO | hadoopc1h3,21300,15220316
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置MRS集群knox内存? 如何调整MRS集群manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memo
排查与主OMS节点NTP服务的同步是否有问题。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 使用root用户登录告警节点,执行ntpq -np命令。 如果显示结果的主OMS节点NTP服务IP地址前有“*”号,表示同步正常,如下: remote refid
Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“43017”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击上报告警的JDBCServ
华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 准备Python开发环境
否,执行3。 登录故障节点所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通。 是,执行3。 否,执行2.d。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。
查看NameNode和DataNode之间的网络情况。 登录处于故障状态DataNode的业务平面IP节点,执行ping NameNode的IP地址命令以检查DataNode和NameNode之间的网络是否异常。 是,执行2.b。 否,执行3.a。 修复网络故障,等待5分钟后,查看该告警是否恢复。
Manager系统。 选择“服务管理 > Storm > 下载客户端 > 完整客户端”,下载客户端程序到“远端主机”,即目标ECS。 登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client.tar tar
the interception limitation (2) 用户也可通过日志查询SQL防御详情,HetuEngine SQL防御日志路径地址为“hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/co
件包内README.md文件。 集群扩容后需要再次在Master节点执行该补丁安装步骤,为新扩容节点安装该补丁,并重启相应服务。 补丁下载地址 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud
Source是否是avro类型。 是,执行8。 否,执行11。 以root用户登录故障节点所在主机,执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行11。 否,执行9。 联系网络管理员恢复网络。
检查OMS配置同集群规模是否匹配。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换到omm用户。 执行命令vi
间为CET或CEST时间。 “结束时间”:表示用户操作结束的时间,且时间为CET或CEST时间。 “用户IP”:表示用户操作时所使用的IP地址。 “用户”:表示执行操作的用户名。 “主机”:表示用户操作发生在集群的哪个节点。如果操作不涉及节点则不保存信息。 “服务”:表示用户操作
其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
图2 sparkPi作业 作业类型选择“SparkSubmit”。 作业名称为“sparkPi”。 执行程序路径配置为OBS上存放程序的地址。例如:obs://sparkpi/program/spark-examples_2.11-2.1.0.jar。 运行程序参数选择“--class”,值填写“org
<UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime": "2014-11-06 10:28:34", "operationText":