检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图1 添加访问MRS Manager的安全组规则
地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。
xml”和“hdfs-site.xml”文件。 登录源集群的FusionInsight Manager。 选择“集群 > 服务 > ClickHouse”,单击“配置 > 全部配置”,在“ClickHouse(服务)”下选择“备份”。 在“remote_connect_core_config_file”参数
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后,为什么还能看到之前数据库的临时表? 创建一个DataSource的临时表,例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
集群未安装Hive服务时Hue原生页面无法正常显示 问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 回答 MRS 3.x版本存在Hue依赖Hive组件,如果出现此情况,首先需要检查当前集群是否安装了Hive组件,如果没有,需要安装Hive。 父主题: Hue常见问题
请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。 在HBase的Web UI页面中,Home页面展示的是HBase的一些概况信息,具体包括以下信息:
在FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”,查看待连接的IoTDBServer所在的节点的业务IP。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数
多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。
ALM-25000 LdapServer服务不可用(2.x及以前版本) 告警解释 系统按30秒周期性检测LdapServer的服务状态。当检测到两个LdapServer服务均异常时产生该告警。 当检测到一个LdapServer服务恢复时告警恢复。 告警属性 告警ID 告警级别 可自动清除
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。比如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。
MRS可以做什么? 问: MapReduce Service(MRS)可以做什么? 答: MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数
集群管理接口 创建集群并执行作业 调整集群节点 查询集群列表 查询集群详情 查询主机列表 删除集群 父主题: API V1.1
标签管理接口 给指定集群添加标签 查询指定集群的标签 删除指定集群的标签 批量添加集群标签 批量删除集群标签 查询所有标签 查询特定标签的集群列表 父主题: API V1.1
任务运行中查看日志失败。 任务运行完成,但是查看不到日志。 原因分析 问题1:可能原因是MapReduce服务异常。 问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。 HDFS存放日志目录权限异常(默认
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据,过一天以后就会出现认证失败的报错: 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS
原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1.1.1.1。
用户在“组件管理”页面修改任意组件的配置并重启服务后,连接impala-shell,会出现连接失败,报错no such file/directory。 原因分析 修改服务配置并重启服务后,部分服务的目录结构会删除并重新创建,如服务的etc目录等。如果重启服务前所在的目录为etc或者其子目录,
使用Tez 访问Tez WebUI查看任务执行结果 Tez常用配置参数 Tez日志介绍 Tez常见问题
使用JobGateway JobGateway常见参数 JobGateway日志介绍