检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
再决定是否做出调整。 因为对执行用户做了限制,使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色)
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 父主题: MapReduce开发指南
使用JobGateway JobGateway常见参数 JobGateway手动更新服务客户端 JobServer从Core节点迁移至Master节点指导 JobGateway日志介绍 常见问题
只有安全模式支持禁用Transform功能,普通模式不支持该功能。 操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页
使用CDM迁移数据的过程中,HDFS的数据量过大,导致在合并元数据时发生堆栈异常。 处理步骤 进入HDFS服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。
RFA //hbase客户端日志输出配置,console:输出到控制台;RFA:输出到日志文件 hbase.security.logger=DEBUG,console,RFAS //hbase客户端安全相关的日志输出配置,console:输出到控制台;RFAS:输出到日志文件
准备开发和运行环境 HBase的应用程序当前推荐使用Java语言进行开发。可使用IntelliJ IDEA工具。 HBase的运行环境即HBase客户端,请根据指导完成客户端的安装和配置。 准备HBase应用开发和运行环境 准备工程 HBase提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。
在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
告警对应Znode是否被写入较多数据。 是,执行3。 否,执行4。 图1 资源使用(按二级Znode) 登录ZooKeeper客户端,删除告警对应Znode下的无用数据。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKee
Client连接消息,告警恢复。 告警属性 告警ID 告警级别 可自动清除 24003 严重 是 告警参数 参数名称 参数含义 ClientIP Flume客户端IP地址。 ServerIP Flume服务端IP地址。 ServerPort Flume服务端端口。 对系统的影响 产生告警的Flume
ePath”属性查看产生的core文件的存放路径。 以omm用户登录产生告警的主机,执行gdb --version命令查看该主机是否安装有gdb工具: 否,请先安装gdb工具,再执行3。 是,执行3。 使用gdb工具查看core文件的详细堆栈信息: 进入“DumpedFilePath”目录,找到core文件。
支持异构集群和多资源池。 支持预留,以保证直接访问资源。 数据位置感知调度 从节点到作业的调度策略导致降低数据本地化命中率,潜在影响应用的执行性能。 从作业到节点的调度策略。可具有更精确的数据位置感知,数据本地化调度的作业命中率比较高。 基于机器负载的均衡调度 不支持 Superior Schedu
使用Sqoop Sqoop客户端使用实践 Sqoop1.4.7适配MRS 3.x集群 Sqoop常用命令及参数介绍 Sqoop常见问题
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题: 使用Kafka
使用ZooKeeper 通过MRS客户端连接ZooKeeper报错 由于主备Master节点时间未同步导致ZooKeeper服务不可用
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
停止服务的日志。 cleanupDetail.log 服务执行cleanup的日志。 check-serviceDetail.log 服务安装完成之后验证服务状态的。 cdl-db-operation.log 服务启动时初始化数据库的日志。 cdl-app-launcher.log CDL数据同步任务的Spark
否,执行5。 使用omm用户登录产生告警的BE所在节点,执行"top"查看进程使用内存情况,找到占用较高的内存的进程,检查是否是本服务应存在的进程,是否合理。 是,执行6。 否,对此进程进行隔离、关闭或调整内存大小处理,观察机器内存是否被释放出。 使用omm用户登录产生告警所在的BE节点,执行"free