检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发。 迁移效率高: 基于分布式计算框架进行数据任务执行和数据传输优化,并针对特定数据源写入做了专项优化,迁移效率高。 实时监控:迁移过程中可以执行自动实时监控、告警和通知操作。 约束与限制 搬迁数据量较大时,对网络通信要求较高,执行搬迁任务时,可能会影响其他业务,建议在业务空闲期进行数据迁移任务。
和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive
repo,查看yum源和系统版本信息不匹配是否匹配,如果不匹配则修改,如下所示: 修改前: 修改后: 执行如下命令,查看yum源上python2开头的软件。 yum list python2* 执行如下命令,安装Python2。 yum install python2 因为当前系统上已安装P
or "license" for more information. 客户端机器必须安装有setuptools。 通过官方网站下载软件,下载地址:https://pypi.org/project/setuptools/#files。 将下载的setuptools压缩文件复
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建角色: CREATE ROLE dorisrole; 执行以下命令给角色授权,
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”,搜索发生告警的Topic,查看副本数量。 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka
1.0.6 发布时间 2020-06-10 解决的问题 MRS 2.1.0.6 修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive
igdata/nodeagent/monitorlog/monitor.log日志,搜索Resource group info可看到资源组监控采集信息。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题: HDFS开发指南(普通模式)
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题: HDFS开发指南(普通模式)
HQL/SparkSQL脚本、拖拽式地开发MRS作业,完成MRS与其他20多种异构数据源之间的数据迁移和数据集成;通过强大的作业调度与灵活的监控告警,轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业: MapReduce:提供快速并行处理大量数据的能力,是一种分
igdata/nodeagent/monitorlog/monitor.log日志,搜索Resource group info可看到资源组监控采集信息。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*
o.cfg 执行批量刷新“/etc/hosts”文件时,输入的客户端包可以是完整客户端,也可以是仅包含配置文件的客户端软件包,推荐使用仅包含配置文件的客户端软件包。 需要更新“/etc/hosts”文件的主机所配置的用户必须为root用户,否则会刷新失败。 父主题: 管理MRS集群客户端
Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题; 解决pms心跳检查客户端无法将localhost地址映射成ipv6地址问题; 解决指定时间段内主机资源概况,监控数据为空,查看失败的问题; 解决Zookeeper服务活动链接数监控显示异常问题;
图表区域右上角的下拉菜单,选择“定制 > GC > HMaster的GC时间” ,单击“确定”,查看该图表中“GC中回收old区所花时长”监控项的值是否连续3个检测周期大于阈值(默认阈值为5秒)。 是,执行4。 否,执行6。 图1 HMaster的GC时间 在FusionInsight
Ranger Kafka流式集群 Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 Kafka、Storm ClickHouse集群 ClickHouse是一个
发布时间 2020-04-22 解决的问题 MRS 2.1.0.2 修复问题列表: MRS Manager nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS
处理步骤 查看磁盘容量,清除无用文件。 在MRS集群详情页面,单击“组件管理 > HDFS”,弹出“服务状态”页面。 在“图表”区域中,通过监控项“Percentage of HDFS Capacity”查看HDFS磁盘使用率是否超过阈值(默认为80%)。 是,执行1.c。 否,执行3。