检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive组件可以使用JDBC/Python/Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。
重置DBService数据库omm用户密码 操作场景 MRS集群中DBService数据库omm用户的默认密码为随机密码，建议定期重置DBService数据库omm用户的密码，以提升系统运维安全性。 该章节仅适用于MRS 3.2.0-LTS.1及之后的版本，MRS 3.2.0-LTS
when语句中文显示乱码。 例如建表语句如下： 查看视图内容中，中文乱码： 原因分析 该问题是由于元数据表相关字段编码不是UTF 8，导致中文显示异常。 处理步骤 连接外置的元数据数据库，查看元数据表的VIEW_EXPANDED_TEXT和VIEW_ORIGINAL_TEXT字段的编码是否为UTF 8。
RowCounter等，且后续还会增加。部分命令的输出为INFO打印，如果直接把INFO关闭会导致部分命令输出结果丢失。例如：RowCounter输出结果为INFO类型： 处理步骤 使用root用户登录安装HBase客户端的节点。 在“HBase客户端安装目录/HBase/component_env”文件中添加如下信息：
log”报错“Service not found in Kerberos database”和“Address already in use”。 处理步骤 依次登录WebHCat实例所在节点检查“/etc/hosts”文件中的IP及主机名称映射关系是否正确。且“/etc/hostname”和
该报错是由于作业运行时间过长，查看Yarn WebUI页面全量日志时需要展示的日志过大，导致报500内部错误。此时需要把作业生成的聚合日志调小，使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
一般出现上述现象，说明集群负载很大，通过调整参数只是临时规避这个问题，建议还是降低集群负载。 例如：避免把所有CPU都分配MapReduce跑任务。 父主题： 使用HDFS
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 数据损坏，HDFS读取文件异常。 可能原因 DataNode实例异常。 数据校验信息被破坏。 处理步骤 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。
执行rpm -qa | grep krb5，观察是否有krb5-workstation-1.10.3-33.el6.x86_64。 处理步骤 执行以下命令卸载“krb5-workstation”软件和依赖的软件： rpm -e krb5-workstation-1.10.3-33
dows环境下进行；应用提交一般是在Linux环境下进行。 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7以上版本。 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，服务端只支持TLS
java运行窗口 在Linux调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 运行Consumer样例工程的命令如下。 java -cp /opt/client/lib/*:/opt/c
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下：
容器减少，集群性能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。 NodeManager节点本地目录omm用户无访问权限。 处理步骤 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据，减少查询毛刺，具体表现为：
使用Sasl Kerberos认证 操作场景 在安全集群环境下，各个组件之间不能够简单地相互通信，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相
在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统。 运行环境：Linux系统 安装JDK 开发和运行环境的基本配置。版本要求如下： MRS集群的服务端和客户端仅支持自带的Oracle
注册信息等内容。 配置好客户端信息，单击“确定”，添加成功。 手动注册的客户端信息也可以手动进行修改或者删除。 在“客户端管理”界面选择待操作的客户端，单击“导出全部”可导出所有已注册的客户端信息到本地。 客户端管理界面上组件列表栏只展示有真实客户端的组件，因此部分没有客户端的组
如何在导入Hive表时指定输出的文件压缩格式？ 问题现象 如何在导入Hive表时指定输出的文件压缩格式？ 处理步骤 当前Hive支持以下几种压缩格式： org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
useradd 命令来创建用户，此用户默认用户组不包含“ficommmon”用户组，导致在使用hdfs的get命令的时候出现上述报错。 处理步骤 使用命令usermod -a -G ficommon username 为用户添加用户组“ficommon”。 父主题： 使用HDFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
