检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,处理完毕。 否,执行17。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 在“服务”下拉框中勾选如下节点信息,单击“确定”。 Hue Controller 设置日志收集的“开始时间”和“结束时间”分别为产生告警的前后10分钟,选择导出类型,单击“确定”,收集对应的故障日志信息。
duce阶段所有的Executor会从NodeManager中获取数据,当数据量达到一个级别(10T级别),会出现NodeManager单点瓶颈(ShuffleService服务在NodeManager进程中),就会出现某些Task获取数据超时,从而出现该问题。 因此,当数据量达
error", e); } [2]test.test()传入参数为待访问的ThriftServer实例所在节点ip地址,需根据实际运行集群情况进行修改,且该节点ip需要配置到运行样例代码的本机hosts文件中。 “THRIFT_PORT”为ThriftServer实例的配置参数"hbase
error", e); } [2]test.test()传入参数为待访问的ThriftServer实例所在节点ip地址,需根据实际运行集群情况进行修改,且该节点ip需要配置到运行样例代码的本机hosts文件中。 “THRIFT_PORT”为ThriftServer实例的配置参数"hbase
详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行3。 否,执行6。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行4。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值。 是,执行6。
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。 getContainerReport(GetContainerReportRequest request) Client通过此接口从
S完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为
告警 > 告警”,查看“告警ID”为“19026”的告警的“定位信息”中上报该告警的服务名。 以客户端安装用户登录安装了HDFS客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(若集群未启用Kerberos认证(普通模式),请跳过该操作)
Flink对接云搜索服务(CSS)样例程序开发思路 场景说明 本样例实现了Flink消费一个自定义数据源,并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法,实现通过Flink将数据写入Elasticsearch的功能。
Manager页面,选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。 选择“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型(x86选择“x86_64”,ARM选择“aarch64”),不勾选“仅保存到如下路径”,单击“确定”,等待客户端文件包自动生成并下载。
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。 getContainerReport(GetContainerReportRequest request) Client通过此接口从
House客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息: ClickHouse springboot client runs normally. Linux环境下执行运行方式: 登录ClickHouse客户端节点,执行如下命令,查看
上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录,例如“/opt/client”,执行如下命令解压安装包到当前目录。
ResourceManager非堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至造成内存溢出导致Yarn服务不可用。 可能原因 该节点Yarn ResourceManager实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用量超过阈值。 处理步骤 检查非堆内存使用量。
haclusterX”,值为“目标集群主NameNode实例节点业务IP:RPC端口”;新增自定义参数“dfs.namenode.rpc-address.haclusterX1”,值为“目标集群备NameNode实例节点的业务IP:RPC端口”,NameNode RPC端口默认为“
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/
登录HDFS的WebUI页面,进入DataNode的JMX页面。 在HDFS原生界面,选择Datanodes页面。 找到对应的DataNode节点,单击Http Address地址进入DataNode详情。 将url的“datanode.html”改为“jmx”就能获取到DataNode的JMX信息。
是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HQL完成海量结构化数据分析。 灵活的数据存储格式,支持JSON、
在搜索栏中搜索参数“users.default.password”,并修改参数密码,如图1所示: 图1 修改默认用户密码 登录安装客户端的节点,执行以下命令,切换到客户端安装目录。 cd 集群客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 使用新修改的密码登录ClickHouse。