检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Core 日志聚合下,如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
创建集群后,扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建
创建集群后,缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建
hing值);如果业务侧业务暂时无法优化,可以在应用侧的“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中新增或修改以下参数(仅减少告警日志打印,不会缓解过载)。 表2 减少告警日志打印 参数名称 参数描述 调整策略 hbase.rpc.rows
否,执行8。 参考HDFS服务的相关告警帮助进行处理,然后查看本告警是否恢复。 是,处理完毕。 否,执行18。 登录HDFS检查Oozie文件目录是否完整。 下载并安装HDFS客户端。 以root用户登录客户端所在节点,执行以下命令,检查“/user/oozie/share”路径
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用MRS时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时,成本主要包括两个方面:
户体验不佳,也会提高运维成本。为了解决上述问题,HetuEngine提供了自适应查询执行的功能,该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 >
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
wheel 系统内部运行用户“omm”的主组。 ficommon 系统公共组,对应“compcommon”,可以访问集群在操作系统中保存的公共资源文件。 如果当前集群不是在FusionInsight Manager内第一次安装的集群,集群内除Manager以外其他组件对应的默认用户组名称
continue. 使用free指令查看,该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因,确认是否有某些进程占用过多内存,或者由于服务器自身内存不足。 父主题: 使用HBase
HIndex常用命令 功能 命令 增加索引 TableIndexer-Dtablename.to.index=table1-Dindexspecs.to.add='IDX1=>cf1:[q1->datatype],[q2],[q3];cf2:[q1->datatype],[q2->d
se”后滚动重启HDFS服务,保证HDFS数据的高可靠。对于确定存在单副本诉求的文件也可通过“dfs.single.replication.exclude.pattern”配置项设置单副本的数据文件和目录。 在MRS管理控制台,选择“服务管理 > HDFS > 服务配置 > 全部配置”,在右上角搜索“dfs
升级补丁类 MRS集群版本如何进行升级? MRS是否支持升级集群内组件的内核版本?
//设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
//设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
//设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
ce的HBase BulkLoad任务运行失败 使用scan命令仍然可以查询到已修改和已删除的数据 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 如何清理由于建表失败残留在ZooKeeper中的table-lock节点下的表名 为什么给HBase使用