检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接到HBase响应慢 问题现象 在相同的VPC下,外部集群通过Phoenix连接到HBase时,响应较慢。 原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv
spark-shell 提供了一个简单学习API的方法,类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下,执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据,再操作RDD。 示例:一行代码可以实现统计一个文件中所有单词。
options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息,请参阅 Bad Records处理: carbon.options.sort.scope 指定数据加载期间排序的范围。 carbon.options.bad.record
作业的监视API。该监视API由Flink自己的WEB UI使用。 监视API是REST API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobMan
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。
创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色,普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flume/flume/flumeServer
sticsearch集群需设置参数“es.security.indication”的值为“false” 安全模式的Flink集群支持对接安全模式和普通模式的Elasticsearch集群。 当安全模式的Flink集群对接普通模式的Elasticsearch集群时需设置如下参数: 登录FusionInsight
如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务,需要如何操作? 回答 登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManag
更改DataNode的存储目录 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时,MRS集群管理员需要在FusionInsight Manager中修改DataNode的存储目录,以保证HDFS正常工作。适用于以下场景:
Admin WebUI 在MRS控制台,单击集群名称进入集群详情页面。 选择“组件管理”。 选择“Ranger”,在“Ranger 概述”中单击“Ranger WebUI”对应的“RangerAdmin”。 进入Ranger WebUI登录界面,MRS 1.9.2版本集群默认用户名/默认密
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备Linux环境运行程序所需配置文件。
调用指定的存储过程。 存储过程由各个连接(connnectors)提供,实现数据操作或者管理任务。例如,系统连接器(System Connector)就定义了存储过程可以取消一个正在运行的查询。有些数据源,例如PostgreSQL,其系统有定义自己的存储过程,这与连接器定义的存储过程不同,是无法被CALL调用的。
历史API V1.1 作业管理接口(废弃)
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2
准备工作 配置MRS云服务授权 创建IAM用户并授权使用MRS 创建MRS IAM自定义权限策略
使用Hue Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 父主题: Kafka开发指南(普通模式)
准备连接Kafka集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”(MRS