检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“现有集群” ,单击集群名称进入集群详情页面。 在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 单击“组件管理”,查看各服务的角色操作状态,如果存在“未启动”的角色,单击“更多 > 启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。
/tmp/client/HBase/ -R FlinkServer节点: 登录Manager,选择“集群 > 服务 > Flink > 实例”,查看FlinkServer所在的“业务IP”。 若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同,则该节点不执行此步骤。
务量大小设置对应的句柄数,建议不要给太小的值。如果用户需要对HBase和HDFS操作,建议设置较大的值,例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name ulimit -n 界面会返回此用户的句柄数限制值。如下所示: 8194 父主题: 使用HDFS
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
/d/aa6fe387b27443afaba40f5b584c1fa7 执行以下命令查看HFile内容: hbase hfile -f <hfile路径> -p “<hfile路径> ”为6查看到的HFile文件所在目录。 该命令将报“com.huawei.hadoop.hbase
平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
对系统的影响 通信闪断,业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置
DFS文件数。 HDFS文件数可以通单击“服务管理 > HDFS”,在右侧“实时”区域中单击“定制”按钮,选择“HDFS File”监控项查看。 等待5分钟后,检查本告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
在“拓扑调整”页面勾选服务部署的节点(Guardian建议部署在master节点上)。 单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 在Console上添加服务会自动同步到Manager页面。 确认集群已完成存算分离的配置,即完成 “配置存算分离集群(委托
的总和是否是100。 是,则说明配置正常。 否,则说明配置异常,请执行后续步骤修复。 登录MRS Manager页面,选择“主机管理”。 查找主Master节点,主机名称前带实心五角星的Master节点即为主Master节点。 以root用户登录主Master节点。 执行su -
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
业务性能下降或者个别业务出现超时问题。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置
选择“现有集群” ,单击集群名称进入集群详情页面。 在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 单击“组件管理”,查看各服务的角色操作状态,如果存在“未启动”的角色,单击“更多 > 启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。
Connecting to …… Beeline version 1.1.0 by Apache Hive (可选)通过beeline -help命令查看关于客户端显示的设置。如下: -u <database url> the JDBC URL to connect
16:37:20" 进入“/var/log/Bigdata/clickhouse/systemTableDump/oneclickTable”目录,查看一键转储压缩日志。 父主题: ClickHouse运维管理
Storm性能调优 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
apache.hadoop.hive.ql.exec.mr.MapredLocalTask (state=08S01,code=1) ... 查看对应HiveServer日志,发现是启动localtask失败: 2018-04-25 16:37:19,296 | ERROR | Hi
行,也可以将程序编译为Jar包后,提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题: Kafka开发指南(安全模式)