检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 磁盘小文件过多。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址和磁盘分区。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令df -i 分区名称,查看磁盘当前Inode使用率。 若Ino
检查Tomcat目录权限是否正常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换到omm用户。 执行命令vi
Manager界面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,记录定位信息中的进程名,单击上报的主机名并记录该主机的业务IP地址。 选择“系统 > OMS”,查看监控图表中“OMS进程Full GC时间 - 进程名”,查看Full GC时间是否大于12秒(默认)。
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态。 ps ww -eo stat
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态是否处于异常状态。 ps ww
概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲一下shuffle在Spark中的实现。 Shuffle操作将一个Spark的Job分成多个Stage,前面的stages会包括一个或多个ShuffleMapTasks,最后一个stage会包括一个或多个ResultTask。
ter使用)。参照支持的API的细节。例如,对于globStatus,“/opt/hadoop/*”将匹配“/opt/hadoop”文件夹下的一切。“/opt/*/hadoop”将匹配/“opt”目录的子目录下的所有hadoop文件夹。 对于globStatus,分别匹配每个路径
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。 图2 程序列表 进入input文件夹,将2中准备的数据文件上传到input文件夹,上传完成后如图3所示。 图3 数据文件列表 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集
针对MRS 3.1.0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。
orders; 更改已存在表的定义: --数据准备 create table users (id int,name varchar); --将表名从users 修改为 people: ALTER TABLE users RENAME TO people; --在表people中增加名为zip的列:
在创建的Source流表中添加“subtask.scan.records-per-second.limit”参数,该参数表示每秒消费Kafka单分区记录数,因此Source端整体限流速率为:min( source parallelism * subtask.scan.records-per-second.limit,kafka
_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端口,Path为路径的部分,参见表1。例如:http://10.162.181
图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命
处理步骤 增大文件句柄数。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ulimit -n,查看当前系统最大句柄设置数。 若文件句柄使用率超过阈
nfig-customize”并添加参数值。参数值的添加参考下表。 参数 值 s3.endpoint-name.endpoint OBS桶地址 s3.endpoint-name.access_key_id OBS ak,获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name
使用导入器通过“.csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态。 ps ww -eo stat
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态是否处于异常状态。 ps ww
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。 扩容后仅当profiles.default.readonl