检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下操作步骤以导入HDFS样例代码为例。 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 第一种方法:打开Eclipse,选择“File > New > Java Project”。 去掉对“Use default location”的勾选,单击“Browse”。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 主机上业务无法发起对外建立连接,业务中断。 可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。
er”的目标NameService不同,在二次合并时需要手动清理放入回收站的原表文件,否则会导致合并失败。 此工具应用客户端配置,需要做性能调优可修改客户端配置文件的相关配置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设
告警”,查看“告警ID”为“19031”的告警的“定位信息”中上报该告警的服务实例和主机名。 检查应用访问HBase并发数。 登录安装HBase客户端的节点,查看“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中“hbase.client.ipc.pool.size”是否配置且参数值是否配置过大。
mysql_table (`int_id`, `float`) VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已
neServer的节点内存至少需要预留30GB。 该功能适用于MRS 3.2.0-LTS.1及之后版本。 对系统的影响 转换前,需要修改TimelineServer的服务端参数“TLS_FLOAT_IP”为一个可用的浮动IP(单实例时该配置默认使用节点业务IP)。 转换过程中,依
/ mapreduce.jobhistory.webapp.<https.>address)是MapReduce参数,MapReduce客户端提交作业时,会将此地址随任务一起提交给ResourceManager。ResourceManager在作业完成后,将此参数作为查看作业历史信
g-example”的“HCatalogExample.java”中,实现该功能的模块如下: 实现Mapper类,通过HCatRecord获取第一列int类型数据,计数1并输出; public static class Map extends Mapper<LongWritable
Internet Explorer浏览器可能存在兼容性问题,建议更换兼容的浏览器访问Hue WebUI,例如Google Chrome浏览器50版本。 对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerbe
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统应用无法打开文件、网络等IO操作,程序异常。 可能原因 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 增大文件句柄数。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。
以omm用户通过21获取的IP地址登录主LoaderServer所在的主机。 执行ping命令,查看主LoaderServer所在主机和依赖组件所在主机的网络连接是否正常。(依赖组件包括ZooKeeper、DBService、HDFS、Mapreduce和Yarn等,获取依赖组件所在主
indexOf(delim)); nameInfo.set(name); // 获取上网停留时间。 String time = line.substring(line.lastIndexOf(delim)
产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求,表现为访问HDFS服务的业务运行缓慢,严重时会导致HDFS服务不可用。
Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 执行HQL语句 在“Database”右侧下拉列表选择一个H
的Topic,查看副本数量。 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划: kafka-reassign-partitions.sh --zookeeper {zk_host}:{port}/kafka
send(ProducerRecord<K,V> record, Callback callback) 带回调函数的发送接口,通常用于异步发送后,通过回调函数实现对发送结果的处理。 void onCompletion(RecordMetadata metadata, Exception exception);
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程,业务进程不可用。 可能原因 节点同时运行的进程过多,需要扩展“pid_max”值。 系统环境异常。 处理步骤 扩展pid_max值。 打开MRS集群详情页面,在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名称。 对系统的影响 业务失败:磁盘不可写或不可读时,如果需要修改或使用该磁盘上的数据,可能会导致作业运行失败。 可能原因 磁盘挂载目录权限异常或磁盘坏道。
告警参数 参数名称 参数含义 来源 产生告警的集群或者系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 监控指标上报CES失败,在CES中无法看到MRS云服务的监控指标。 可能原因 权限问题请求CES接口失败。 网络问题上报CES数据失败。
HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。 使用root用户登录集群所有节点机器或者客户端机器的操作系统,并进入“/etc/security”目录。 执行如下命令编辑“limits