检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤如下: 登录FusionInsight Manager界面,单击右上角任务中心图标,确认任务管理中心无执行中的任务。 使用PuTTY工具,以omm用户登录主管理节点。 执行以下命令重启controller。
备份恢复MRS集群数据 MRS集群数据备份恢复简介 启用MRS集群间拷贝功能 创建MRS集群数据备份任务 创建MRS集群数据恢复任务 备份MRS集群组件数据 恢复MRS集群组件数据 管理MRS集群备份恢复任务 使用HDFS快照快速恢复组件业务数据 父主题: MRS集群运维
(可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。
/taskmanagers 任务管理员信息。 /taskmanagers/<taskmanagerid>/metrics 任务管理员的度量信息。 /taskmanagers/<taskmanagerid>/log 任务管理员的日志信息。
处理步骤 检查系统中是否有不需要的文件。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env命令设置环境变量。 如果集群采用安全版本,要进行安全认证。
以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”,根据错误日志分析原因。
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
联系网络管理员,检查网络是否存在异常。 是,恢复网络故障,执行5。 否,执行6。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行6。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
the maximum request size you have configured with the max.request.size configuration. at org.apache.kafka.clients.producer.KafkaProducer$FutureFailure
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
ResourceManager 集群的资源管理器,基于应用程序对资源的需求进行调度。资源管理器提供一个调度策略的插件,它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公平调度模型。
使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Policy Name”名称为“all - topic”操作列的。
单击“并行文件系统 > 创建并行文件系统”,创建一个名称为sparksql的文件系统。 sparksql仅为示例,文件系统名称必须全局唯一,否则会创建并行文件系统失败。 单击sparksql文件系统名称,并选择“文件”。 单击“新建文件夹”,创建input文件夹。
设置后需要重启executor,否则将导致管控面作业管理及文件管理功能不可用。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值 Hudi常见配置参数 Hudi性能调优 Hudi
HBase企业级能力增强 配置HBase全局二级索引提升查询效率 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置HBase冷热分离 配置RSGroup管理RegionServer资源 查看HBase慢请求和超大请求信息 父主题: 使用
Users:MRS集群系统中已创建的用户。 Groups:MRS集群系统中已创建的用户组。 单击“Save”保存配置。 配置完成后,所选择的用户和用户组即拥有该角色的权限。 父主题: MRS对接LakeFormation云服务
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
图1 Spark表管理层次 当Session退出时,用户操作相关的临时表将自动删除。建议用户不要手动删除临时表。 删除临时表时,其优先级与查询相同,从高到低为Spark临时表、Hive临时表、Hive持久化表。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。