检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 创建OBS连接 单击“保存”回到连接管理界面。 步骤4:创建迁移作业 在CDM集群管理界面,单击集群后的“作业管理”,选择“表/文件迁移 > 新建作业”,开始创建从MRS HDFS导出数据到OBS的任务。
Spark UI 进入组件管理页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。 HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric 提供跨域(DC)高性能安全数据传输。
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败?
Flink SQL可视化定义 集群连接管理,配置Kafka、HDFS等服务所属的集群信息。 数据连接管理,配置Kafka、HDFS等服务信息。 数据表管理,定义Sql访问的数据表信息,用于生成DDL语句。
检查系统环境是否异常。 联系操作系统管理员,检查操作系统是否存在异常。 是,恢复操作系统故障,执行13。 否,执行14。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行14。 收集故障信息。
ClickHouse数据库运维 ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 父主题: ClickHouse数据库设计规范
集群管理 以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。 MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。
在IntelliJ IDEA的菜单栏中,选择“File > Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。
选择“服务管理 > 更多 > 同步配置”,不勾选“重启配置过期的服务或实例”,单击“确定”,等待集群配置同步成功。 选择“服务管理 > 更多 > 停止集群”。待停止集群的操作生效后,选择“服务管理 > 更多 > 启动集群”,等待集群启动成功。 父主题: 恢复MRS集群组件数据
单击“组件管理 > Hue > 实例”,记录主Hue的IP地址。 使用PuTTY工具登录主Hue的IP地址。 执行ping命令,查看主Hue所在主机与DBService服务所在主机的网络连接是否正常。
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 在登录的主机节点上ping第三方AD服务器IP,确认是否能ping通第三方AD服务器。 是,执行7。
登录MRS Manager管理界面,选择“告警管理”。在告警列表中单击该告警所在行,从“定位信息”处获得任务名。 选择“系统设置 > 恢复管理”。根据“任务名”查找对应恢复任务,查看恢复任务的详细信息。 启动该恢复任务,查看恢复任务是否执行成功。 是,执行6。 否,执行7。
String> map(String s) throws Exception { String[] word = s.split(","); return
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行19。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
在IntelliJ IDEA的菜单栏中,选择“File > Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。
命令报错: INFO : Concurrency mode is disabled, not creating a lock manager Error: Error while processing statement: FAILED: Execution Error, return
选择“系统设置 > 补丁管理”,进入补丁管理页面即可看到补丁卸载进度。 对于集群中被隔离的主机节点,请参见修复隔离MRS集群主机补丁进行补丁修复。 父主题: 安装MRS集群补丁
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题