检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并行运
Storm应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
若IAM用户已同步，可在组件管理观察到存在未启动角色。 若未同步，可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一：添加节点任务在安装组件前失败 如果MRS集群为按需购买集群： 登录MRS服务控制台。 选择 “现有集群” ，单击集群名称进入集群详情页面。 单击页面上面的按
以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询MRS集群管理员。执行如下命令： 安全模式： cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式： su - omm cd 客户端安装目录 source bigdata_env
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
ervice上，并由DBService提供这些元数据的备份与恢复功能。 DBService结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包含三个模块：HA、Database和FloatIP。 其逻辑结构如图1所示。 图1 DBService结构
一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。 HDFS NameNode的ZKFC连接到ZooKeeper，把主机名等
AS能被用于指定文件存储的格式；LOCATION能被用于指定在HDFS上存储的路径。 想要查看支持哪些column属性，可以运行以下命令，会显示当前对接的catalog分别支持哪些列属性。 SELECT * FROM system.metadata.column_properties;
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时，报import argparse错误。 回答 以root用户登录安装HBase客户端的节点，使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时，报import argparse错误。 回答 以root用户登录安装HBase客户端的节点，使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
致系统性能降低。扩容失败后，磁盘仍然过于拥挤，可能会继续影响系统性能。 可能原因 当前系统未安装growpart扩容工具。 系统执行磁盘分区扩容命令失败。 处理步骤 检查当前系统是否安装growpart扩容工具。 登录FusionInsight Manager页面，选择“运维 >
Sqoop任务运行成功，但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
原因分析 用户登录Master节点执行命令之前，未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令，设置环境变量。 执行hdfs命令即可成功使用HDFS客户端。 父主题： 使用HDFS
录、自动删除文件，以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时，支持Failover或负载均衡工作模式。 父主题： Hue
目录），“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”（gaussDB安装日志），“/var/log/gaussdbuninstall.log”（gaussDB卸载日志）。 HA：“/var/log/Bigdat
brokers: 0. 原因分析 由特殊字符导致获取的ZooKeeper地址变量错误。 处理步骤 登录任意一个Master节点。 执行cat 客户端安装目录/Kafka/kafka/config/server.properties |grep '^zookeeper.connect ='命
执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OP
目录），“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”（gaussDB安装日志），“/var/log/gaussdbuninstall.log”（gaussDB卸载日志）。 HA：“/var/log/Bigdat
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
