检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据表中存在大量数据时,构建耗时较长,建议将nohup命令放在后台执行,避免操作被意外中断。
联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令,查看新增磁盘分区信息。
由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
后台查看磁盘使用情况,主要是JDBCServer服务的APP临时文件(shuffle生成的文件)太多,并且没有进行清理占用了大量内存。
用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS系统,MRS使用OBS中的数据进行计算分析。
提供自动化物化视图的创建,无需手动执行SQL创建物化视图(推荐使用) 配置HetuEngine智能物化视图能力 查看物化视图自动化任务记录 看任务执行情况,帮助评估集群运行健康状况 查看HetuEngine物化视图自动化任务 父主题: 配置HetuEngine物化视图
如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外,LTS版集群还支持HetuEngine、IoTDB等组件,可以根据不同集群版本选择不同的组件,具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。
如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外,LTS版集群还支持HetuEngine、IoTDB等组件,可以根据不同集群版本选择不同的组件,具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。
IES边缘小站MRS集群服务费:在智能边缘小站 IES可用区购买MRS集群时使用该计费项。 包年/包月、按需计费 核个数 * 节点个数 * 核规格单价 * 购买时长 MRS服务管理针对不同类型、不同Region集群的单核价格不相同,具体计费请以MRS价格计算器中的价格为准。
在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题: 周边生态对接类
解决办法 通过后台使用df -h命令查看数据盘目录空间已满,因此需要删除无用的数据来进行应急恢复。 后续需要扩容节点来解决数据目录空间不足问题。 父主题: 使用HBase
登录集群后台,执行命令cat /etc/hosts后,把hosts文件中的ip与hostname映射关系拷贝到“C:\Windows\System32\drivers\etc\hosts”中。其中主机名请以查询结果为准。
解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用kill命令终止该进程(如果kill无法终止该进程,需要使用kill -9来强制终止该进程)。 重新启动HBase服务成功。
配置spark.sql.statistics.size.autoUpdate.enabled=true,再插入数据,后台会触发统计信息收集。 父主题: Spark故障排除
CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率,可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。
未知 后台系统重启后,角色实例的初始状态。 健康状态 良好 该角色实例正常运行。 恢复中 后台系统正在尝试自动启动角色实例。 故障 该角色实例运行异常,如PID不存在,无法访问端口。 未知 角色实例所在主机与后台系统未连接。
例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。 图3 梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集:利用Flume实现实时数据采集,并提供丰富的采集和存储连接方式。
10000 yarn.resourcemanager.webapp.pagination.enable 是否开启Yarn WebUI的任务列表后台分页功能。
登录Manager页面,在主机列表页面找到主Master节点的IP地址(即主机名称前带有实心五角星的节点),并登录该节点后台。 执行如下命令重启进程。 su - omm sh /opt/knox/bin/restart-knox.sh 父主题: 集群管理类
后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。