检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.1.0及之后版本在创建集群时已勾选Sqoop组件。 安装客户端，具体请参考安装客户端（3.x及之后版本）。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 客户端目录/Sqoop/sqoop/lib下已有对应驱动包（例mys
环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nod
环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nod
环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.0.1/nod
环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置HTTPS SSL证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.0.1/nod
Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop
> 下载客户端”，弹出“下载客户端”信息提示框。 MRS 3.3.0及之后版本，在Manager主页中直接单击“下载客户端”即可。 表1 客户端下载参数说明 参数 描述 示例 选择客户端类型 完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。 仅配置文件：仅下载客户端配置
更多 > 下载客户端”，弹出“下载客户端”信息提示框。 MRS 3.3.0及之后版本，可以在主页中直接单击“下载客户端”。 表1 客户端下载参数说明 参数 描述 示例 选择客户端类型 完整客户端：包含完整客户端软件包及配置文件，适用于非开发任务场景。 仅配置文件：仅下载客户端配置文件
提交Storm拓扑失败排查思路 问题背景与现象 使用MRS流式集群，主要安装ZooKeeper、Storm、Kafka。 使用客户端命令，提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。
查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成，但是查看不到日志。 原因分析 问题1：可能原因是MapReduce服务异常。 问题2：可能原因如下： Spark的JobHistory服务异常。 日志太大，NodeManager在做日志汇聚的时候出现超时。
普通模式不涉及） 在修改集群域名后，需要重新下载客户端，以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
MRS 3.x及之后版本客户端的安装请参考安装客户端（3.x及之后版本）。 如果集群外的节点已安装客户端且只需要更新客户端，请使用安装客户端的用户例如“root”。 在Core节点安装客户端 登录MRS Manager页面，选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。
HDFS读文件失败报错“No common protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败，报“No common protection layer between client and server”。 在集群外的机器，执行任意hadoop命令，如hadoop
请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 安装客户端，具体请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client
状态是“noexec”。当前环境中将安装MRS客户端所在的数据盘配置成“noexec”，即禁止二进制文件执行，从而无法使用java命令。 解决方法 以root用户登录MRS客户端所在节点。 移除“/etc/fstab”文件中MRS客户端所在的数据盘的配置项“noexec”。 执行
HBase用户认证失败 用户问题 HBase用户认证失败。 问题现象 客户侧HBase用户认证失败，报错信息如下： 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed
使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。 SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能
Kafka服务异常。 客户端Producer侧jaas文件和keytab文件错误。 原因分析 Producer发送数据到Kafka失败，可能原因客户端Producer侧问题或者Kafka侧问题。 通过Manager页面查看Kafka服务状态及监控指标。 MRS Manager界面操作：登录MRS
使用MRS客户端 安装客户端（3.x及之后版本） 安装客户端（3.x之前版本） 更新客户端（3.x及之后版本） 更新客户端（3.x之前版本） 父主题： 常见操作
使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。 SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
