检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。
回答 Hive不支持复杂类型字段名称中包含特殊字符,特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 父主题: Hive常见问题
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。
原因分析 Hive中一个中文字符长度为“1”;而Impala中一个中文字符的长度为“3”,从而导致在Impala SQL中使用substr(),substring(),strleft()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。
回答 Hive不支持复杂类型字段名称中包含特殊字符,特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 父主题: Hive常见问题
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。
配置HetuEngine SQL诊断功能 HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自动感知并向集群管理员展现不同时间周期范围内的租户级
Kafka可以实时接受来自外部的消息,并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示: 图1 与其他组件关系 父主题: Kafka
滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。
滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。
用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将运行作业所需的程序包和数据文件上传至OBS系统或HDFS中。
回答 当一个在线的RegionServer突然运行停止,会在HMaster Web UI中显示处于“Dead Region Servers”状态。
回答 当一个在线的RegionServer突然运行停止,会在HMaster Web UI中显示处于“Dead Region Servers”状态。
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器,旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。
目前MRS集群支持在线创建如下几种类型的作业: MapReduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境,MRS支持提交MapReduce Jar程序。
查看HMaster原生页面,显示有4个RegionServer在线,如下图示: 原因分析 如下图可以看出,第三行hostname为controller-192-168-1-3节点和第四行hostname为eth0节点为同一RegionServer上报的信息,登录相应节点,查看/etc